Google afirma que el coste de la memoria de los servidores de IA supera el 75%, impulsando una estrategia dual de software y hardware

La Cumbre de Memoria SEMICON Taiwán 2026 se celebró el día 1, donde Nikhil Cherian, Director Senior de Infraestructura de Cadena de Suministro de Google Cloud, bajo Alphabet, señaló que con la popularidad de las arquitecturas multimodales y de expertos mixtos, la computación de IA ha pasado de estar limitada por la energía a estarlo por la memoria, representando la memoria de alto rendimiento más del 75% del coste de la lista de materiales del hardware de los servidores de IA. Ante los cuellos de botella de capacidad, ancho de banda y consumo de energía, Google está superando el cuello de botella de memoria de la IA mediante una estrategia dual de descarga de hardware para inferencia y entrenamiento, y algoritmos de software de cuantización sin pérdidas.Google adopta una estrategia de descarga en la arquitectura de hardware, lanzando TPU 8i para inferencia de baja latencia y TPU 8t especializado para entrenamiento a gran escala. El TPU 8i está equipado con 288 GB de memoria de alto ancho de banda, con la capacidad de SRAM en el chip aumentada tres veces hasta 384 MiB, colocando los estados de conversación dinámicos y las cachés de clave-valor en el propio chip para lograr una latencia cero fuera del chip. El TPU 8t forma un clúster de computación supergrande con 9600 chips, logrando un grupo compartido de HBM a escala de 2 PB, eliminando los cuellos de botella de transferencia de datos fuera del chip, junto con la tecnología TPU Direct Storage.Google ha desarrollado el algoritmo de cuantización sin pérdidas TurboQuant sin entrenamiento, comprimiendo la caché de clave-valor de los modelos grandes de 32 bits a 3 bits, reduciendo el uso de memoria seis veces sin pérdida de precisión, resultando en una aceleración ocho veces mayor en el cálculo de atención, e integrando tecnología de DRAM de generación anterior para extender el ciclo de vida de los componentes.