Los desarrolladores de Gran Turismo Sophy explican cómo enseñó a un piloto de IA una conducta deportiva

Como el primer lanzamiento público significativo de tecnología de Sony AI , que se formó en 2020, el próximo modo Gran Turismo Sophy Race Together para Gran Turismo 7 será la primera exposición de muchos jugadores a la compleja tecnología de IA que podría tener un impacto duradero en muchos de Juegos de Sony Interactive Entertainment. Como tal, si la IA es grosera, injusta e imbatible para muchos jugadores, GT Sophy podría verse como otra señal de advertencia de que la IA aún no está lista para el horario estelar. Es por eso que garantizar que GT Sophy tenga la etiqueta deportiva adecuada es una prioridad para sus desarrolladores.

“ En las carreras, debes asegurarte de conducir agresivamente porque quieres ganar, pero al mismo tiempo, quieres conducir de manera justa”, dice Michael Spranger, COO de Sony AI, a Digital Trends. “No puedes chocar con otros autos para obtener una ventaja y debes asegurarte de que todos puedan competir de manera justa. Esa es un área interesante porque estas reglas son bastante imprecisas; hay un libro de reglas, pero necesita la interpretación de los jueces. Hacer esto bien, conducir de manera agresiva y competitiva versus conducir de manera justa, es uno de los grandes desafíos de GT Sophy”.

Sony AI, Sony Interactive Entertainment y Polyphony Digital han confirmado que los jugadores podrán competir con GT Sophy en un modo Gran Turismo 7 por tiempo limitado a partir del 21 de febrero. Para llegar a ese punto, sus desarrolladores trabajaron mucho para refinar no solo la habilidad de GT Sophy a través del aprendizaje por refuerzo, pero también su etiqueta hacia un conjunto nebuloso de reglas impulsadas por la cortesía. Antes de su incorporación a Gran Turismo 7, Digital Trends habló con el COO de Sony AI, Michael Spranger, y el líder del proyecto GT Sophy, Peter Wurman, para obtener más información sobre su enfoque ético de la conducta deportiva de GT Sophy y qué usos futuros ven para esta tecnología en los juegos.

La siguiente entrevista ha sido editada por motivos de brevedad y claridad.

¿Qué hizo que Gran Turismo fuera la opción más atractiva para desarrollar una IA avanzada por primera vez?

Michael Spranger: Fue porque era posible y porque Gran Turismo es un juego realmente emocionante. Gran Turismo ha sido parte de PlayStation desde el principio. Es un juego icónico que proporciona esta área de desafío específica de realismo físico, estrategia, toma de decisiones y etiqueta deportiva. Además, tiene una gran audiencia de personas que realmente siguen el juego, y eso significa que cualquier tecnología que desarrollemos en el juego puede tener un impacto potencialmente significativo en millones de jugadores. También me encanta el juego. Estas cosas combinadas nos hicieron elegir Gran Turismo como uno de los primeros objetivos para los proyectos de IA de juegos.

¿Cómo permite el aprendizaje por refuerzo que esta IA asuma más riesgos o conduzca de manera más impresionante que la IA de su juego estándar? ¿Es solo tratar de conducir la línea de carrera más precisa?

Peter Wurman: Hay diferentes niveles de habilidad. La línea de base es conducir más rápido en la pista, por lo que el aprendizaje por refuerzo funciona al permitir que el agente de IA explore qué efecto tienen sus acciones en el mundo y luego intente maximizar su recompensa. Al darle señales positivas para ir más rápido en la pista, aprende a conducir alrededor de la pista muy rápido. Aprende a pisar el acelerador y tomar las curvas para no chocar, lo que funciona muy bien para entrenarlo para un escenario de contrarreloj.

Para convertirlo en un corredor competitivo , tuvimos que darle otras señales de recompensa por rebasar a los autos que están delante de él y no evitar que los autos detrás de él lo rebasen. También le dimos penalizaciones por colisionar o tropezar con otros autos. Esta combinación de recompensas y penalizaciones requirió un poco de esfuerzo para hacerlo bien, pero una vez que entrenamos con la población adecuada de oponentes, aprendió a ser un corredor muy efectivo.

¿Cuáles fueron los mayores aprendizajes de los dos primeros eventos Race Together que organizaste con los mejores jugadores de Gran Turismo Sport ?

Peter Wurman: Si ha seguido el proyecto, sabrá que hubo dos carreras. En la primera lo hicimos bien, pero no ganamos el Team Score. Algunas de las cosas interesantes que aprendimos de eso tenían que ver con encontrar el equilibrio entre la asertividad y ser un buen deportista. Descubrimos dos semanas antes que el agente que habíamos entrenado era demasiado agresivo y no se le permitiría correr, así que tuvimos que revolver y ajustar las cosas. No puedes tener un agente de IA que fuera realmente bueno conduciendo rápido y otro que pensara en los aspectos tácticos de adelantar; en cambio, tuvimos que incorporarlos juntos en un agente coherente que estaba haciendo ambas cosas al mismo tiempo. Esas son las cosas que vimos después de la carrera de julio de 2021 , por lo que nos sentimos mucho más seguros de cara a la carrera de octubre de 2021 .

Michael Spranger: Hubo algo en lo que nos dijeron que era demasiado agresivo, pero luego, en el primer día de la carrera de exhibición, perdimos la carrera porque no fuimos lo suficientemente agresivos y tímidos. El problema de cómo equilibrar esas cosas fue realmente evidente a lo largo del desarrollo del proyecto.

¿Qué cambios debieron realizarse en GT Sophy cuando tomaron la decisión de agregarlo a Gran Turismo 7 y no solo entrenarlo en un entorno de prueba?

Peter Wurman: Lo más importante es que en todas las exhibiciones, GT Sophy se ejecutó en una computadora separada y habló a través de una conexión de red a la consola PlayStation. Aquí, GT Sophy está incrustado en el juego. Hacer que funcionara en una PlayStation con los recursos que teníamos disponibles después de todo el renderizado y otras cosas que estaban pasando fue un poco de trabajo de ingeniería.

La otra cosa es que Polyphony Digital realmente quería que el agente fuera un ejemplo extremadamente bueno de estilo y habilidad para competir. Hicimos algunos cambios para alentar a GT Sophy a permanecer más dentro de las líneas. Si has visto alguna de las exhibiciones, verás que fue realmente bueno usar toda la pista, a veces poniendo dos llantas en el césped. Eso es legal, pero no exactamente lo que podrías hacer en un auto de carrera real. Hicimos algunos cambios para mantener a GT Sophy más entre líneas. Todavía es muy rápido pero un poco más limpio.

¿Cuáles son las principales cosas que el equipo de IA de Sony espera aprender al agregar Gran Turismo Sophy Race Together a Gran Turismo 7 ?

Peter Wurman: La principal es que esperamos que las personas disfruten jugando contra él, sientan que realmente están desafiados en todos los niveles de habilidad y están aprendiendo a convertirse en mejores pilotos de carreras simulados.

Michael Spranger: También queremos ver cómo interactúa la gente con la tecnología. En este momento, hay un puñado de personas que han experimentado la tecnología, por lo que tenemos curiosidad por ver cómo la gente va a usar esto para aprender por sí mismos, adquirir nuevas habilidades y tener nuevas experiencias. Creo que eso es el núcleo del proyecto en muchos sentidos. Tenemos el avance tecnológico, y creo que eso es realmente importante, pero creo que estamos desbloqueando una nueva etapa para las personas y en Gran Turismo. En muchos sentidos, la IA incorporada tiene un rango de rendimiento bastante estrecho, y puedes superarlo una vez que te conviertes en un conductor intermedio en cada dificultad.

Incluso con las relativamente pocas combinaciones de pista y auto que presentamos aquí, desde lo que puedo hacer hasta lo que pueden hacer algunos de los mejores jugadores, todos pueden encontrar una combinación realmente interesante. Esperamos ver más de eso y ver cómo la gente aprende de eso. También es muy difícil para algunos jugadores encontrar buenos oponentes y, por primera vez, puedes tener interacciones repetidas con un oponente digno sin tener que llamar a todos tus amigos y hacer que todos se reúnan. Va a ser algo en lo que las personas puedan progresar mucho para mejorar en el juego porque pueden tener estas experiencias personalizadas hasta cierto punto.

En el aspecto ético de las cosas, ¿puede explicar el proceso de determinación de lo que constituye una conducta deportiva para GT Sophy para que no esté acosando a ciertos jugadores?

Peter Wurman: Bueno, no puede hablar contigo , así que hay muchas cosas malas que GT Sophy no puede hacer porque eso no es parte del juego. Estamos principalmente enfocados en tratar de adherirnos a las reglas del espíritu deportivo en las carreras automovilísticas; ahora, esos son bastante nebulosos. No puedes bloquear una oportunidad de pase legítima y cosas así. Hay un montón de palabras confusas en estas reglas que fueron difíciles de codificar y programar, por lo que tuvimos que aproximarnos con señales de recompensa y penalizaciones si hacía cosas como chocar con otro automóvil.

Luego, tuvimos que dárselo a Polyphony Digital y a los pilotos de prueba y dejar que nos dieran su opinión porque competir contra otros agentes de IA realmente no nos muestra si está listo para competir contra la variedad de estilos de carreras humanos. Eso tomó un poco de esfuerzo e iteración para hacerlo bien.

Michael Spranger: Para este lanzamiento, creo que es justo decir que es competitivo. Intentará adelantar a los jugadores, pero no los bombardeará. Es competitivo pero educado. Definitivamente te está presionando; lo vas a ver por los retrovisores intentando adelantarte. Al mismo tiempo, tratará de darle algo de espacio para que pueda competir de manera competitiva pero justa.

Peter Wurman: Pero si haces un lío, se aprovechará.

Michael Spranger: ¡ Así es, al instante!

¿Dónde ve GT Sophy y la tecnología AI en los juegos de Sony en los próximos cinco años?

Michael Spranger: Obviamente, no podemos anunciar nada específico, pero en general, hay varias capas. Todavía hay desafíos y cosas que podemos hacer dentro de Gran Turismo para desbloquear nuevas experiencias, y no creo que hayamos terminado con eso. Hay un entusiasmo real por impulsar la tecnología más allá. Luego, desde la perspectiva de Sony AI de I+D corporativo e iniciativas estratégicas, estamos muy entusiasmados con lo que esta tecnología puede aportar a los juegos en general.

Otros juegos nos darán un desafío diferente para superar y mejorarán las capacidades de la tecnología. Es una tecnología emergente que ha tenido algunos éxitos en el pasado, pero creo que lo que estamos haciendo aquí es bastante distinto en el sentido de que hacemos los avances científicos, pero luego también lo implementamos y nos aseguramos de que la gente tenga en sus manos. la tecnología de IA. Eso impulsará la tecnología y desbloqueará mejores experiencias.

La interacción es el núcleo de PlayStation, no es un error que se llame Sony Interactive Entertainment. Realmente se trata de cuál es tu interacción con las cosas que encuentras en el juego, y siento que esta tecnología tiene el potencial de realmente desbloquear la próxima generación de juegos, y estamos muy entusiasmados con eso.