Amazon está lista para lanzar sus nuevos chips de inteligencia artificial mientras el grupo Big Tech busca obtener rendimientos de sus inversiones multimillonarias en semiconductores y reducir su dependencia del líder del mercado, Nvidia.
Los ejecutivos de la división de computación en la nube de Amazon están invirtiendo fuertemente en chips personalizados con la esperanza de mejorar la eficiencia dentro de sus docenas de centros de datos, lo que en última instancia reducirá sus propios costos y los de los clientes de Amazon Web Services.
El esfuerzo está liderado por Annapurna Labs, una startup de chips con sede en Austin que Amazon adquirió a principios de 2015 por $350 millones. Se espera que el último trabajo de Annapurna se presente el próximo mes cuando Amazon anuncie la disponibilidad generalizada de ‘Trainium 2’, parte de una línea de chips de inteligencia artificial destinados a entrenar los modelos más grandes.
Trainium 2 ya está siendo probado por Anthropic, el competidor de OpenAI que ha asegurado $4 mil millones en respaldo de Amazon, así como Databricks, Deutsche Telekom y las empresas japonesas Ricoh y Stockmark.
El objetivo de AWS y Annapurna es competir con Nvidia, una de las compañías más valiosas del mundo gracias a su dominio del mercado de procesadores de inteligencia artificial.
“Queremos ser absolutamente el mejor lugar para ejecutar Nvidia”, dijo Dave Brown, vicepresidente de servicios de computación y redes en AWS. “Pero al mismo tiempo, creemos que es saludable tener una alternativa”. Amazon dijo que ‘Inferentia’, otra de sus líneas de chips especializados en inteligencia artificial, ya es un 40 por ciento más barata de ejecutar para generar respuestas de modelos de inteligencia artificial.
“El precio [de la computación en la nube] tiende a ser mucho mayor cuando se trata de aprendizaje automático e inteligencia artificial”, dijo Brown. “Cuando se ahorra un 40 por ciento de $1000, realmente no va a afectar tu elección. Pero cuando estás ahorrando un 40 por ciento en decenas de millones de dólares, sí lo hace”.
Amazon espera ahora unos $75 mil millones en gastos de capital en 2024, con la mayoría en infraestructura tecnológica. En la última llamada de ganancias de la compañía, el director ejecutivo Andy Jassy dijo que espera que la compañía gaste aún más en 2025.
Esto representa un aumento en 2023, cuando gastó $48.4 mil millones en todo el año. Los principales proveedores de servicios en la nube, incluidos Microsoft y Google, están inmersos en una fiebre de gasto en inteligencia artificial que muestra poco signo de disminuir.
Amazon, Microsoft y Meta son todos grandes clientes de Nvidia, pero también están diseñando sus propios chips para centros de datos para sentar las bases de lo que esperan sea una ola de crecimiento en inteligencia artificial.
“Cada uno de los grandes proveedores de servicios en la nube se está moviendo febrilmente hacia una pila de tecnología de chips más verticalizada y, si es posible, homogeneizada e integrada”, dijo Daniel Newman en The Futurum Group.
“Todos, desde OpenAI hasta Apple, están buscando construir sus propios chips”, señaló Newman, ya que buscan “menor costo de producción, márgenes más altos, mayor disponibilidad y más control”.
“No se trata [solo] del chip, se trata del sistema completo”, dijo Rami Sinno, director de ingeniería de Annapurna y veterano de Arm de SoftBank e Intel.
Para la infraestructura de inteligencia artificial de Amazon, eso significa construir todo desde cero, desde la oblea de silicio hasta los racks de servidores en los que se instalan, todo ello respaldado por el software y la arquitectura propietarios de Amazon. “Es realmente difícil hacer lo que hacemos a escala. No muchas compañías pueden hacerlo”, dijo Sinno.
Recomendado
Después de comenzar construyendo un chip de seguridad para AWS llamado Nitro, Annapurna ha desarrollado varias generaciones de Graviton, sus unidades centrales de procesamiento basadas en Arm que ofrecen una alternativa de bajo consumo energético a los caballos de batalla de servidores tradicionales proporcionados por Intel o AMD.
“La gran ventaja para AWS es que sus chips pueden usar menos energía, y sus centros de datos pueden ser quizás un poco más eficientes”, lo que reduce los costos, dijo G Dan Hutcheson, analista de TechInsights. Si las unidades de procesamiento gráfico de Nvidia son herramientas potentes de propósito general —en términos automovilísticos, como un turismo familiar—, Amazon puede optimizar sus chips para tareas y servicios específicos, como un compacto o un hatchback, dijo.
Hasta ahora, sin embargo, AWS y Annapurna apenas han hecho mella en la dominancia de Nvidia en la infraestructura de inteligencia artificial.
Nvidia registró $26.3 mil millones en ingresos por ventas de chips de centro de datos para inteligencia artificial en su segundo trimestre fiscal de 2024. Esa cifra es la misma que Amazon anunció para toda su división de AWS en su propio segundo trimestre fiscal —solo una fracción relativamente pequeña de la cual se puede atribuir a clientes que ejecutan cargas de trabajo de inteligencia artificial en la infraestructura de Annapurna, según Hutcheson.
En cuanto al rendimiento bruto de los chips de AWS en comparación con los de Nvidia, Amazon evita hacer comparaciones directas y no somete sus chips a pruebas de rendimiento independientes.
Recomendado
“Las pruebas de referencia son buenas para ese primer: ‘oye, ¿debería siquiera considerar este chip?’”, dijo Patrick Moorhead, consultor de chips en Moor Insights & Strategy, pero la verdadera prueba es cuando se ponen “en múltiples racks juntos como una flota”.
Moorhead dijo que confía en que las afirmaciones de Amazon de un aumento del rendimiento de 4 veces entre Trainium 1 y Trainium 2 son precisas, después de haber escrutado a la compañía durante años. Pero las cifras de rendimiento pueden ser menos importantes que simplemente ofrecer a los clientes más opciones.
“La gente aprecia toda la innovación que Nvidia trajo, pero nadie se siente cómodo con que Nvidia tenga el 90 por ciento del mercado”, agregó. “Esto no puede durar mucho tiempo”.