Desde que ChatGPT empezó a ser lo que es y la IA comenzó a llegar a todo el mundo, ya que antes era algo reservado a la investigación en diferentes ámbitos, una palabra nos ha acompañado: entrenamiento. De ese entrenamiento sabíamos que era algo costoso por los equipos que se necesitaban para llevarlo a cabo, pero también por los recursos naturales y energéticos que consume (así como todo el conocimiento robado y destruido por el camino), pero desde hace no tanto, parece que nos acercamos a una nueva era de la IA: la de la inferencia.
Una de las estimaciones más recientes es que el gasto de infraestructura en 2026 para inferencia superará, por primera vez, al de entrenamiento. Y no se va a detener.
Inferencia en auge. En un reciente informe publicado por Gartner se apunta que el gasto mundial en AI-optimized IaaS (un subsegmento de IaaS en el que el proveedor de nube ofrece, bajo demanda, recursos de cómputo de alto rendimiento pensados para entrenamiento e inferencia de modelos de IA a gran escala) crecerá en un 96% este año, llegando a los 42.000 millones de dólares. Supone un 96% más que el año pasado, y lo interesante es cómo se repartirá: 23.300 millones de dólares en inferencia frente a 19.000 millones en entrenamiento.
La inferencia será, por primera vez, la que tenga la mayor parte del pastel de esta inversión, pesando en un 55% del presupuesto de IaaS para este año. Gartner da otros dos datos. El primero es la estimación de que el mercado de optimización de IaaS aumentará en 2027 hasta los 66.100 millones de dólares y, además, que esos 42.000 millones en en AI-optimized IaaS para este 2026 apenas representarán un 15% del mercado global de IaaS este año, situado en los 287.300 millones de dólares.
Cambio de paradigma. Esto es interesante porque no abre la puerta únicamente a otro tipo de plataformas de IA. El entrenamiento necesita músculo sobre todo, pero la inferencia requiere velocidad y baja latencia porque es el sistema que calcula la respuesta que brinda a la pregunta de un usuario. En términos económicos, entrenar un modelo supone un coste elevado de inicio, pero finito. Las empresas compran los equipos, escalan sus centros de datos y realizan el entrenamiento.
Una vez ese entrenamiento está listo, toca inferir, y esa inferencia supone un coste recurrente que crece con cada interacción de usuarios. En la era agéntica en la que también estamos entrando, esas peticiones se multiplican por mucho, y ya hay análisis que estiman que la inferencia llegará a suponer entre el 80% y el 90% del coste total de vida de un sistema de IA. El porcentaje restante será entrenamiento.
Ahí está el cambio de paradigma, ya que la IA pasa de ser un "proyecto de inversión" para convertirse en un "gasto continuo". Para las gigantes como Meta, Google, Amazon o Microsoft, implica que la IA ya no es algo más del negocio, sino una parte fundamental del mismo.
Repensando la nube. En los planes, esos gigantes deben estructurar de otra forma el presupuesto, poniendo el foco en el coste por token, la eficiencia energética y la latencia. Se debería acabar presumir tanto del tamaño de un modelo porque no es lo que marcará la pauta a partir de ahora. Y, claro, que la inferencia domine el panorama fuerza a los proveedores de servicios en la nube a rediseñar sus sistemas.
Como decía, ya no es sólo potencia, por lo que los centros de datos tendrán que rediseñarse para ser más eficientes sirviendo modelos. Es ahí donde la memoria más rápida, el mayor ancho de banda y la eficiencia pesarán tanto o más que la potencia bruta de cómputo. La estimación de Gartner es que las arquitecturas de los centros de datos tendrán que adaptarse para ser más densas en aceleradores, pero también el negocio tendrá que cambiar para ofrecer unas tarifas por uso más agresiva.
Otro tipo de dispositivos. Aunque ese cambio de paradigma ya se está viendo en los grandes centros de datos, con empresas chinas diseñando sus sistemas para que sean ases de la inferencia y Nvidia fabricando en masa su plataforma Vera Rubin, a nivel de "consumo" (entre comillas, porque es carísimo), también estamos viendo que hay nuevos dispositivos más pensados para esa inferencia local.
Ahí está DGX Spark, una singular estación de trabajo de Nvidia con una potencia asombrosa y una capacidad de inferencia fuera de toda duda, pero en portátiles tenemos la contrapartida por parte de Microsoft (en alianza con Nvidia). Es de esperar que, con el auge de la IA y aprovechando que sí o sí van a lanzar equipos caros porque no les queda otra, los fabricantes de PC y portátiles se lancen a incorporar NPUs, CPUs y GPUs pensadas para ejecutar modelos de forma eficiente y local que no dependa tanto de la nube, pero que se apoye en ella para 'llamadas' más exigentes.
El lado negativo (esta ya te la sabes). El problema es que ese apetito de las Big Tech por la inferencia está provocando que el mercado de componentes se vaya al traste. Ya lo hemos abordado en innumerables ocasiones estos últimos meses (aunque nunca sobra poner en valor quién y para qué se está destruyendo el mercado de consumo), pero como los principales fabricantes de DRAM (Samsung, Micron y SK Hynix) están dedicando toda su producción a la IA y a la memoria HBM y DDR5 de servidor, a nivel de usuarios no podemos optar a precios competitivos.
No sólo en memoria RAM, tampoco en almacenamiento NAND como pueden ser los SSD, en almacenamiento convencional como pueden ser los HDD para montar un NAS casero y dejar de depender de la nube para todo y hasta en otros componentes como tarjetas gráficas, procesadores y placas base. El resultado son componentes más caros, pero también móviles, consolas y cualquier dispositivo con precios prohibitivos.
Más allá del hardware, está el precio de la propia IA. No pienses tanto en usuario que quiere buscar una receta o una tabla de ejercicio (contenido que está hecho por humanos tanto en la web como en YouTube, sin necesidad de acudir a una IA): piensa en empresas. Como las que ofrecen el servicio tendrán ese gasto continuo y necesitarán ser más agresivos para ganar dinero, es posible que acabemos viendo límites de tokens más bajos, aún más escalones de suscripción y hasta precios dinámicos según la carga del sistema.
El futuro pinta apasionante (y una IA no detectaría el sarcasmo de esta frase).
Imagen | NVIDIA
En Xataka | Nvidia acaba de lanzar su propio modelo de IA gratuito. Que lo haga justo ahora tiene todo el sentido
-
La noticia La inferencia de IA ya gasta más que el entrenamiento. Es un cambio de paradigma del sector (y malo para ti) fue publicada originalmente en Xataka por Alejandro Alcolea .
☞ El artículo completo original de Alejandro Alcolea lo puedes ver
aquí
