Los desarrolladores Stan Girard y Quivr Brain presentaron la prueba LLM Colosseum durante el hackathon Mistral AI en San Francisco la semana pasada. Esta prueba de código abierto, inspirada en Street Fighter III, tiene como objetivo evaluar la eficiencia de los grandes modelos de lenguaje de inteligencia artificial de una manera única y divertida.
En un video, Matthew Berman, un apasionado de la inteligencia artificial, habló sobre este torneo entre modelos de lenguaje de gran tamaño (o LLM). Muestra como funcionan estas batallas entre IA y nos dio instrucciones para instalar este proyecto en PC para poder probarlo.
Esta no es una prueba típica de LLM. Por lo general, los modelos de lenguaje pequeños tienen una ventaja en términos de velocidad y latencia, lo que les da la victoria en la mayoría de las batallas virtuales. Sin embargo, en los juegos de lucha, la rapidez de reacción ante las respuestas del oponente es muy importante, tanto para los jugadores como para la IA.
Los modelos de lenguaje toman decisiones en tiempo real sobre cómo luchar. Los LLM, basados en texto, se entrenaron con datos de Street Fighter III. Analizan el contexto del juego y sugieren reacciones ante acciones específicas, considerando la variedad de movimientos disponibles, como acercarse o alejarse del enemigo y realizar técnicas como bolas de fuego, entre otras cosas.
Estas batallas de IA que podemos ver en el video anterior muestran una dinámica increíble. Los oponentes luchan estratégicamente, bloquean ataques y utilizan habilidades especiales. Sin embargo, es importante destacar que, hasta el momento, el proyecto LLM Colosseum solo cuenta con un personaje jugable: Ken.
Según las pruebas de Girard, el mejor modelo de lenguaje en el torneo Street Fighter III fue GPT 3.5 Turbo de OpenAI. Entre los ocho participantes, logró la calificación ELO más alta: 1776.
Fuente: Tom’s Hardware
