El pasado, el presente y el futuro de la tecnología interactiva en tiempo real.
Teiji Yutaka, colaborador del desarrollo de la PlayStation original, lleva años muy involucrado en el sector de los videojuegos. Recientemente, ha estado a la vanguardia de la investigación sobre tecnología de vanguardia para el entretenimiento interactivo. Su trabajo abarca una amplia gama de tecnologías avanzadas, como la representación gráfica fotorrealista mediante el uso de trazado de rayos en tiempo real y la tecnología de interfaz de usuario que incorpora el procesamiento inteligente de la información orientado a la cognición. El blog de tecnología de Sony Group se reunió recientemente con él para hablar de su carrera, su pasión por la tecnología y su trabajo reciente. Lea algunos extractos de la entrevista a continuación.
De la investigación en IA al desarrollo de PlayStation
Para empezar, ¿podrías contarnos qué te llevó a incorporarte a Sony? ¿En qué te especializaste como estudiante y cuáles fueron tus primeras responsabilidades al incorporarte a la empresa?
Como estudiante, me especialicé en informática, centrándome principalmente en la IA (inteligencia artificial). Mi investigación se centró en la ambiciosa hipótesis de que, si la velocidad computacional y la capacidad de memoria fueran ilimitadas, podríamos crear una IA indistinguible de un humano. Para probar esta idea, trabajé en aplicaciones de traducción automática. Publiqué un artículo sobre este enfoque, que llamó la atención de mi profesor, quien me animó a explorar las redes neuronales. Cuando empecé a desarrollar un interés en los sistemas en los que las computadoras aprenden de forma autónoma, llegó el momento de entrar en el mercado laboral.
Un estudiante de último año de mi universidad estaba investigando la IA en el laboratorio de Sony, lo que me llevó a incorporarme a Sony también. Mi función inicial fue el desarrollo por contrato de chips de sonido para consolas de juegos de otras empresas, utilizando la tecnología de audio digital de Sony. El trabajo consistía en muestrear los sonidos de instrumentos como violines y voces humanas para permitir la reproducción en varios tonos, una capacidad revolucionaria en ese momento. Desarrollé un sistema de entrada para que los compositores ingresaran datos de partituras musicales. Aunque inicialmente me uní por un interés en la IA, también me apasionaba la música rock desde la escuela secundaria. Me fascinaba la tecnología de audio de Sony, como los amplificadores y los parlantes, lo que me mantuvo muy motivado en mi trabajo.
Después del proyecto del chip de sonido, mi siguiente tarea fue desarrollar un lector de CD-ROM como periférico para consolas de juegos basadas en cartuchos ROM. Este proyecto tenía como objetivo maximizar el potencial de los CD-ROM, que ofrecían más de 100 veces la capacidad de datos de los cartuchos ROM tradicionales. Finalmente, después de sortear varios desafíos, nos embarcamos en el desarrollo de la nueva consola de juegos de Sony. Esto marcó el comienzo de lo que se convertiría en PlayStation.
Integración de potencia computacional en chips semiconductores
¿Cuáles son algunos de los desafíos técnicos interesantes que enfrentaste durante los primeros días de PlayStation?
Cuando se trató del concepto de PlayStation, Ken Kutaragi, el líder del proyecto, tenía una visión clara en mente. En ese momento, las películas creadas completamente con gráficos de computadora (CG) estaban recién comenzando a surgir, y él quería llevar ese mundo completamente CG a los juegos.
Sin embargo, lograr un juego completamente basado en CG presentó enormes desafíos. Inicialmente, pensé que al pre-renderizar fondos de video en CG y colocar personajes en frente, podríamos crear la impresión de un fondo interactivo y en movimiento. Este enfoque de hecho produjo un juego completamente CG, pero parecía demasiado simplista. Desde la perspectiva del jugador, era casi como si pudieras derrotar a los enemigos simplemente disparando. Me hizo cuestionar si un juego así realmente sería atractivo.
Esto llevó a un cambio de pensamiento: decidimos crear todo lo que se mostraba en la pantalla en CG en tiempo real. Para lograr un movimiento más fluido, la CG en tiempo real requiere al menos 30 cuadros por segundo, lo que significa que cada cuadro debe generarse en 1/30 de segundo. La unidad más pequeña en un mundo 3D es un “polígono”, que consta de tres vértices, y la combinación de muchos polígonos permite crear objetos detallados. La pregunta entonces era, ¿cuántos polígonos y cálculos serían necesarios? Tomando como ejemplo la primera demostración que creamos para PlayStation, el modelo de dinosaurio estaba compuesto por 2.700 polígonos. Para proyectar un dinosaurio en movimiento en la pantalla, necesitábamos 243.000 cálculos de vértices por segundo (2.700 polígonos × 3 vértices × 30 cuadros).
En ese momento, las estaciones de trabajo capaces de tal poder de procesamiento costaban decenas de millones de yenes, por lo que recrear esto en una consola doméstica fue un gran desafío. La idea del Sr. Kutaragi era integrar las capacidades de cálculo de vértices en un chip semiconductor dentro de la CPU, lo que hizo que la producción en masa fuera asequible. Esto condujo al desarrollo e integración del motor de geometría*, que se convirtió en el avance clave y una de las tecnologías fundamentales para la serie PlayStation.
*Motor de geometría: software o hardware especializado en la transformación de coordenadas en gráficos 3D
Si bien estuve involucrado directamente en el desarrollo hasta PlayStation 3 (PS3), mi enfoque como ingeniero de software fue proporcionar un entorno de desarrollo fácil de usar para los desarrolladores de juegos. Administré la biblioteca de gráficos 3D y entregué la biblioteca de software 3D como una API para los desarrolladores.
Las técnicas y los principios que perfeccioné aquí finalmente allanaron el camino para mi especialización actual en tecnologías interactivas como el trazado de rayos en tiempo real. Actualmente, aprovecho mi experiencia para dar forma a la visión y la dirección de las tecnologías interactivas digitales de Sony. Mi interés actual radica en examinar la industria de los juegos desde la perspectiva de los gráficos 3D en tiempo real y comprender cómo las nuevas tecnologías transformarán los juegos.
La evolución del trazado de rayos en tiempo real
¿Podrías contarnos cuál es el atractivo de los gráficos en tiempo real, el trazado de rayos en tiempo real y la tecnología de interfaz de usuario, así como tu visión para el futuro?
Los juegos son, en esencia, contenido que genera escenas y comportamientos en tiempo real. Con la evolución de la potencia computacional, desde la PlayStation original hasta la PlayStation 5 (PS5®) y más allá, la creciente capacidad de procesamiento permite simulaciones más extensas, acercándonos al verdadero realismo.
Veamos la evolución del trazado de rayos en tiempo real como ejemplo. Un «rayo» se refiere a un haz de luz. Al procesar la fuente de luz y las propiedades del objeto, renderizamos gráficos 3D en una pantalla. Tradicionalmente, las texturas de los polígonos se procesaban individualmente para determinar los colores. En el trazado de rayos, se simulan innumerables rayos al trazarlos desde la fuente de luz, calculando cómo rebota la luz y determinando cómo llega al ojo del espectador. Este proceso requiere cálculos extensos, pero al tomar muestras de rayos de luz y reducirlos a una cantidad manejable para el cálculo, podemos simular reflexiones y refracciones con precisión. Esto permite lograr gráficos 3D realistas y hermosos que se alinean con los movimientos de los personajes.
Se prevé que si la potencia computacional aumenta decenas de miles de veces con respecto a los niveles actuales, los gráficos 3D en tiempo real podrían lograr representaciones visuales indistinguibles de la realidad para el ojo humano.
Más allá de los avances en las capacidades computacionales, los esfuerzos en curso apuntan a minimizar la degradación de la imagen. Un enfoque prometedor implica aprovechar la IA. Por ejemplo, cuando la cantidad de rayos es limitada, las imágenes pueden presentar ruido similar a las fotografías tomadas con poca luz. Se han desarrollado técnicas de eliminación de ruido impulsadas por IA para abordar este problema. Además, PS5 Pro, que se lanzará en noviembre de 2024, cuenta con PlayStation Spectral Super Resolution (PSSR), una tecnología de aumento de escala impulsada por IA que mejora la resolución de la imagen al agregar una cantidad extraordinaria de detalles.
Sin embargo, ciertos elementos siguen siendo difíciles de replicar con la tecnología actual, en particular los seres humanos. La reproducción precisa de mechones de cabello individuales, movimientos sutiles y expresiones faciales matizadas aún requieren mejoras. Dado que los humanos desempeñan un papel crucial en los juegos, incluso una ligera falta de naturalidad puede desencadenar el fenómeno del valle inquietante, lo que genera incomodidad y resta valor a la experiencia. Lograr una representación humana realista y permitir un control natural son algunos de los principales desafíos que enfrentamos hoy.
Mejorar la precisión con potencia computacional e IA
¿Cuál dirías que es la principal fortaleza de Sony en el campo de los videojuegos?
En los videojuegos, la capacidad en tiempo real es esencial; constituye la base de todo lo que creamos. Una de las principales fortalezas de Sony es la capacidad de aplicar la tecnología desarrollada originalmente para los videojuegos a otros campos. Por ejemplo, en la producción virtual, la cámara debe estar sincronizada con el fondo que se muestra en tiempo real, lo que aprovecha directamente la tecnología CG en tiempo real incorporada en los videojuegos. La aplicación de efectos realistas como el trazado de rayos en tiempo real a otras industrias puede conducir a avances aún mayores.
Otro ámbito prometedor es la combinación de simulación e IA. La simulación se basa en la potencia computacional para obtener respuestas a través de la deducción, mientras que la IA utiliza la inducción, aplicando el conocimiento y los datos del pasado para predecir los resultados. Al combinar estos enfoques, podemos tomar un nuevo camino: avanzar parcialmente en los cálculos y utilizar el razonamiento inductivo de la IA para llegar a conclusiones finales. Este enfoque híbrido amplía las posibilidades más allá de los métodos convencionales.
La PlayStation® Spectral Super Resolution (PSSR) de la PlayStation 5 Pro (PS5® Pro) mencionada anteriormente es un excelente ejemplo de este enfoque. Por ejemplo, puede renderizar en resolución 2K y luego escalarla sin problemas a 4K con alta nitidez mediante IA. Más allá de la PSSR, creo que el equipo de ingenieros distinguidos (DE) de Sony, cada uno de los cuales se destaca en sus respectivos campos, seguirá aprovechando sus puntos fuertes y colaborando de manera efectiva para mejorar las capacidades únicas de Sony.
¿Cómo benefician en última instancia estos avances tecnológicos a los usuarios de juegos?
Puede parecer una idea descabellada, pero un concepto es que a través de la IA, el contenido podría personalizarse más para cada individuo.
Actualmente, todos experimentamos el mismo contenido, pero en el futuro, el contenido podría adaptarse dinámicamente a las preferencias y el nivel de habilidad de cada persona. Gracias a la IA, podría evolucionar en tiempo real. Este enfoque es particularmente prometedor para los juegos, donde los niveles de competencia de los jugadores son más evidentes. Por ejemplo, el juego podría ajustar sutilmente la dificultad para mantenerlos interesados, mejorando la experiencia y reduciendo la probabilidad de desconexión.
La colaboración entre ingeniero y creador genera un cambio en la creación
¿Podrías compartir cómo se te ocurren las ideas?
La primera clave es la aportación: adquirir una variedad de experiencias. Las buenas ideas rara vez surgen si te centras únicamente en tu área de especialización. En Sony, la gente a menudo me pide que “eche un vistazo a esta demostración” y trato de no perder estas oportunidades de aportación, incluso en áreas aparentemente no relacionadas con mi campo, como la tecnología médica.
Otro aspecto crucial son mis trotes matutinos. Corro unos 5 kilómetros y, durante ese tiempo, surgen ideas de todo lo que he asimilado. A veces, las mejores ideas no surgen mientras estás sentado en un escritorio, sino cuando estás haciendo algo completamente diferente.
PlayStation celebrará su 30.º aniversario este diciembre. ¿Podrías compartir tus pensamientos sobre este hito?
Han pasado 30 años desde que lanzamos la PlayStation original en 1994. Hasta el día de hoy, PlayStation sigue recibiendo el apoyo de innumerables usuarios y su tecnología ha seguido evolucionando. Creo que esta longevidad se debe en gran medida a la dirección clara que se estableció desde el principio. Al establecer obstáculos altos como el «tiempo real» y los «gráficos 3D» desde el principio, sentamos una base que fomentaba la combinación de varias tecnologías. Estos avances han evolucionado en línea con el aumento de la potencia computacional, y estoy profundamente agradecido de haber sido parte de un producto tan extraordinario.
Por último, ¿podría hablarnos de sus objetivos para el futuro?
En una reciente reunión de estrategia corporativa, el Grupo Sony describió su compromiso de “maximizar el valor de la propiedad intelectual a través de un cambio de creación”. Al reflexionar sobre mis propias experiencias, creo que, independientemente de lo avanzado que sea el hardware, el contenido no puede existir sin creadores que se identifiquen con él y deseen contribuir. Los ingenieros de Sony deben involucrarse no solo en la electrónica, sino también de manera más activa con los creadores. Aunque estos campos tienen culturas completamente diferentes, creo que Sony, con sus diversos talentos, puede lograr un verdadero cambio de creación a través del respeto mutuo y la colaboración.
Actualmente, como parte del equipo de ingenieros distinguidos (DE) de Sony, codirijo el “Comité de estrategia de tecnología de contenido”, una iniciativa multifuncional para compartir conocimientos en todo el Grupo Sony con otros miembros del equipo de DE. Esta iniciativa reúne a personas tanto del entretenimiento como de la electrónica para fomentar la innovación. Estoy entusiasmado por ver qué contenido nuevo surgirá de esta fusión única de perspectivas.
