Investigadores de la Universidad de California en San Diego, Estados Unidos, escogieron un singular modo de poner a prueba las capacidades de los modelos de Inteligencia Artificial Generativa más populares. Para hacerlo, pusieron a los sistemas automatizados a jugar Super Mario Bros., el videogame clásico que Nintendo lanzó en 1985.
La experiencia reveló que ChatGPT de OpenAI y Gemini quedaron relegados detrás de una herramienta de IA menos conocida por las grandes audiencias.
Super Mario Bros., un inesperado banco de prueba para los modelos de IA Generativa más famosos
Los científicos de Hao AI Lab, una organización de investigación de la mencionada universidad en California, pidieron a los modelos de IA Generativa más famosos que demuestren sus habilidades en el título de Nintendo. Los resultados dieron cuenta de la preeminencia de Claude 3.5 (un modelo creado por la firma Anthropic) por sobre ChatGPT de OpenAI (GPT-4o) y Google Gemini (1.5 Pro), que presentaron más dificultades para superar los niveles del videojuego.
Leé también: La dura crítica del cofundador de Apple contra la IA: “No piensa, propaga fake news y facilita estafas”
Siguiendo el repaso de la publicación TechCrunch, hay que notar que no los investigadores no usaron exactamente la versión original Super Mario Bros.; en cambio, el juego se ejecutó en un emulador integrado con un marco llamado GamingAgent que permitió a los diferentes modelos de IA tomar el control sobre el personaje en la pantalla.
El marco GamingAgent, desarrollado por los investigadores de la Universidad de California en San Diego, le dio a las IAs instrucciones básicas para avanzar en el juego de Mario. Por ejemplo, que salte o se mueva cuando aparece un obstáculo o un enemigo. Además, como es usual en este ámbito, la clave fue el entrenamiento con datos; en ese caso, captura de pantalla del título de Nintendo.
Una de las conclusiones más curiosas del estudio es aquella que mostró que los modelos de razonamiento como GPT-o1 de OpenAI, que piensan los problemas paso a paso para llegar a soluciones, tuvieron un peor desempeño en el juego en comparación con los sistemas “sin razonamiento”, a pesar de ser generalmente más fuertes en la mayoría de los puntos de referencia.
Al respecto, los expertos a cargo de esta prueba explicaron que una de las razones por las que los modelos de IA “reflexivos” son peores para jugar a Super Mario Bros. radica en el hecho de que demoran más tiempo (aunque sea segundos) en tomar decisiones. Eso, en los juegos, marca la diferencia entre la victoria y el game over.
Leé también: Sorpresa: dos IA se reconocieron como bots y empezaron a hablar entre ellas en un idioma alternativo
Tal como nota la fuente, esta no es la primera vez que se emplean videogames para probar a sistemas de IA. De hecho, eso ha ocurrido durante décadas. Sin embargo, “algunos expertos han cuestionado la utilidad de establecer conexiones entre las habilidades de juego de la IA y el avance tecnológico. A diferencia del mundo real, los juegos tienden a ser abstractos y relativamente simples, y proporcionan una cantidad teóricamente infinita de datos para entrenar a la IA”, señalan en TC.
