Los modelos de lenguaje líderes que le dan poder a los chatbots de IA están progresando a un ritmo tan pero tan rápido que en apenas ocho meses, los requisitos de hardware necesarios para su funcionamiento se reducen a la mitad, sin embargo, los avances en los propios chips son mucho más lentos.
Según el investigador del MIT (Instituto de Tecnología de Massachusetts) Tamay Besiroglu, existen dos formas de mejorar el rendimiento de los sistemas de IA. La primera es aumentar el tamaño y la complejidad de los grandes modelos de lenguaje, lo que demandaría un crecimiento proporcional de la capacidad computacional, aunque actualmente hay escasez de hardware para IA. La otra opción es optimizar los algoritmos existentes para aprovechar de manera más eficiente el hardware disponible. Los desarrolladores de los actuales grandes modelos de lenguaje parecen elegir esta segunda alternativa.
Menos requisitos de hardware para la IA.
Según un estudio, entre 2012 y 2023, el rendimiento de 231 grandes modelos de lenguaje experimentó una caída del 50% en la potencia informática requerida para ejecutarlos, aproximadamente cada ocho meses en promedio. Esta tasa de mejora es mucho más rápida que la Ley de Moore, que indica que el número de transistores en un chip (una medida de su rendimiento) se duplica cada 18 a 24 meses. Los investigadores sugieren que este aumento en el rendimiento de los sistemas de IA se debe en parte a la optimización del código, aunque esto es difícil de determinar con precisión actualmente.
La diferencia en las tasas de desarrollo es un indicador de la eficacia con la que los desarrolladores de grandes modelos de lenguaje están utilizando los recursos disponibles. Besiroglu plantea la duda sobre la posibilidad de optimizar infinitamente los algoritmos y si este ritmo de desarrollo se mantendrá a largo plazo. Además, existe la preocupación de que mejorar la eficiencia de los modelos pueda, paradójicamente, aumentar el consumo de energía de la industria de la IA. Por lo tanto, los científicos advierten que no se puede enfocar en un solo aspecto mientras se ignoran otros.
Fuente: NewScientist