Si bien las posibilidades que se vislumbran para ChatGPT y la Inteligencia Artificial (IA) generativa son muchas, el alto coste que puede suponer para las organizaciones es un tema del que no siempre se habla. Sin embargo, es necesario profundizar para que controlar su coste.
Por lo general, son las grandes empresas como Microsoft, Meta y Google las que están invirtiendo grandes cantidades para desarrollar su ventaja tecnológica aprovechando la IA. No obstante, si el margen para las aplicaciones de IA es normalmente más pequeño que los márgenes del software como servicio, debido al alto costo de la informática, podría frenar el auge actual.
Incluso cuando el software está construido o entrenado, todavía requiere mucha computación para ejecutar grandes modelos de lenguaje porque hacen miles de millones de cálculos cada vez que devuelven una respuesta a un aviso. En comparación, servir aplicaciones o páginas web requiere mucho menos cálculo.
Estos cálculos también requieren hardware especializado. Si bien los procesadores tradicionales pueden ejecutar modelos de aprendizaje automático, son lentos. La mayor parte del entrenamiento ahora se lleva a cabo en procesadores de gráficos o GPU, que inicialmente estaban destinados a juegos en 3D, pero se han convertido en el estándar para las aplicaciones de Inteligencia Artificial porque pueden hacer muchos cálculos simples simultáneamente.
Los analistas estiman que el proceso de entrenar un modelo de lenguaje como GPT-3 de OpenAI podría costar más de 4 millones de dólares. Los modelos de lenguaje más avanzados podrían multiplicar esta cifra.
Las organizaciones que construyen grandes modelos de lenguaje deben ser cautelosas porque cuesta mucho
El modelo LLaMA más grande de Meta lanzado el mes pasado, por ejemplo, usó 2048 GPU Nvidia A100 para entrenar en 1,4 billones de tokens (750 palabras son aproximadamente 1000 tokens), lo que llevó alrededor de 21 días.
Se necesitaron alrededor de un millón de horas de GPU para entrenar. Con precios exclusivos de AWS, costaría más de 2,4 millones de dólares. Y con 65.000 millones de parámetros, es más pequeño que los modelos GPT actuales en OpenAI, como ChatGPT-3, que tiene 175.000 millones de parámetros.
Las organizaciones que construyen grandes modelos de lenguaje deben ser cautelosas cuando vuelven a entrenar el software, lo que ayuda a mejorar sus capacidades, porque cuesta mucho.
Para usar un modelo de aprendizaje automático entrenado para hacer predicciones o generar texto, los ingenieros usan el modelo en un proceso llamado «inferencia», que puede ser mucho más costoso que el entrenamiento ya que es posible que deba ejecutarse millones de veces al popularizarse.
Un producto como ChatGPT, que se estima que alcanzó los 100 millones de usuarios activos mensuales en enero, podría haberle costado a OpenAI 40 millones procesar los millones de mensajes que las personas introdujeron en el software ese mes.
Los costes se disparan cuando estas herramientas se utilizan miles de millones de veces al día. Los analistas financieros prevén que el chatbot Bing AI de Microsoft, que funciona con un modelo OpenAI ChatGPT, necesita al menos 4.000 mil millones de dólares en infraestructura para ofrecer respuestas a todos los usuarios de Bing.
No está claro si la computación en Inteligencia Artificial seguirá siendo costosa a medida que se desarrolle la industria. Las empresas que fabrican los modelos básicos, los fabricantes de semiconductores y las nuevas empresas ven oportunidades en la reducción del precio de ejecución del software de IA.
Cada vez más empresas se centrarán en el desarrollo de modelos más pequeños y específicos para optimizar costes
Nvidia, que tiene alrededor del 95% del mercado de chips de Inteligencia Artificial, sigue desarrollando versiones potentes diseñadas específicamente para el aprendizaje automático, pero las mejoras en la potencia de los chips en toda la industria se han ralentizado en los últimos años.
Algunas empresas se han centrado en el alto coste de la IA como una oportunidad de negocio y cada vez más empresas se centrarán en el desarrollo de modelos más pequeños y específicos. Estos son más baratos de entrenar y operar, en lugar de los modelos de lenguaje que, como ChatGPT, consiguen atraer gran parte de la atención.
Mientras tanto, OpenAI anunció el mes pasado que está reduciendo el coste para que las empresas accedan a sus modelos GPT. Ahora cobra una quinta parte de un centavo por unas 750 palabras de producción.
Imagen inicial | Negative Space