Samsung describe una hoja de ruta HBM de tres etapas: avanzar hacia una verdadera tecnología ZHBM 3D, apilando directamente la DRAM sobre el chip de procesamiento.

La hoja de ruta de evolución de HBM en tres etapas de Samsung tiene como objetivo lograr la arquitectura "zHBM", que apila verticalmente la DRAM sobre los chips de procesamiento. Samsung afirma que zHBM ofrece una reducción del 70 % en el consumo de energía y un aumento del 230 % en el ancho de banda en comparación con HBM4E, a la vez que libera 100 W adicionales de margen térmico para la GPU.

Recientemente, en la conferencia tecnológica Hot Chips, Sangwook Han, del equipo de diseño de DRAM de Samsung, presentó oficialmente la hoja de ruta de tres etapas de Samsung para la evolución de HBM. El punto final de esta hoja de ruta es una arquitectura completamente nueva llamada zHBM, que apila DRAM de forma directa y vertical sobre chips de computación como GPU y TPU, eliminando por completo el interposer 2.5D.

Según un informe de wccftech del 23 de agosto, Samsung afirmó que, en comparación con la HBM4E estándar, la solución zHBM logra una reducción del 70 % en el consumo de energía, un aumento del 230 % en el ancho de banda de la DRAM y un ahorro de energía de 100 W por módulo de DRAM, al tiempo que libera un 8,3 % de margen de potencia adicional para la GPU.

¿Qué es HBM y dónde se encuentran los cuellos de botella?

La HBM, o memoria de alto ancho de banda, es uno de los componentes de almacenamiento más críticos en los sistemas actuales de entrenamiento e inferencia de IA. Consta de dos tipos de chips:

Chip C (chip central) : Contiene celdas de memoria DRAM y se puede apilar verticalmente hasta 16 capas.

B-die (Base Die) : Ubicado en la parte inferior de toda la estructura de la pila, es responsable de gestionar varias funciones de control de la DRAM y de comunicarse con los chips de computación, como las GPU, a través de la capa de interfaz física (PHY).

Ambos están conectados mediante un TSV (Through-Silicon Via), un canal conductor vertical que atraviesa el chip.

Según Wccftech, el ancho de banda de cada pila HBM4 supera actualmente los 3 TB/s, la HBM4E avanza aún más hasta alcanzar los 4 TB/s, y la HBM5 duplica el ancho de banda de la HBM4, con una capacidad superior a los 60 GB.

Sin embargo, la continua expansión del ancho de banda se enfrenta a dos limitaciones importantes: los límites físicos del número y la separación de los TSV , y el límite superior del número y la velocidad de E/S de la interfaz PHY dentro del chip base . Al mismo tiempo, la brecha generacional del proceso entre el chip base y el chip de computación (xPU SoC) se está reduciendo generación tras generación, lo que representa tanto un desafío como un punto de partida para la hoja de ruta de Samsung.

Fase 1: Preparar el espacio para los chips informáticos

El objetivo principal de la primera fase de la hoja de ruta de Samsung es "recuperar" área de silicio que actualmente ocupa la unidad de procesamiento (chips de computación) .

Samsung ha aplicado procesos lógicos D1c y de 4 nm al chip base HBM4 (B-die), principalmente para reducir el consumo de energía y disminuir el área efectiva. Esto marca el inicio de la verdadera integración de la DRAM y los procesos lógicos avanzados.

Las medidas específicas incluyen:

Sustituir la interfaz HBM PHY tradicional por una interfaz D2D acorta la longitud del canal, mejorando directamente la eficiencia energética, al tiempo que libera valioso espacio de silicio para la XPU.

Se prevé que la descarga del controlador de memoria de la XPU al chip B-die cHBM libere entre un 5 % y un 10 % del área de la XPU, lo que corresponde a una mejora del rendimiento de entre un 10 % y un 20 %.

Presentamos un esquema de reparación basado en SRAM de grano fino (reparación de celdas basada en SRAM cercana a MC), que utiliza el espacio inactivo en el chip B para desplegar recursos de reparación de SRAM.

Una consecuencia de la reducción del área es el problema de los puntos calientes. Para solucionarlo, Samsung ha introducido la tecnología Heat Path Block (HPB), basada en la solución cHBM4, que puede reducir las temperaturas máximas en más de un 35 % y cubrir el 50 % del área PHY.

Fase dos: El chip B comienza a "aumentar" su capacidad de procesamiento.

El enfoque de la segunda fase pasó de "crear espacio" a "añadir funciones", lo que Samsung define como la fase de expansión de funciones .

Ampliación de la capacidad de memoria. A medida que la ventana de contexto de los grandes modelos de IA se expande drásticamente, la demanda de cachés clave-valor (el área de memoria utilizada para almacenar estados intermedios durante la inferencia del modelo) crece exponencialmente. Samsung planea integrar un controlador de expansión de memoria y un PHY en el área de silicio no utilizada del chip base, ampliando la capacidad de memoria disponible del sistema mediante soluciones externas LPDDR o HBM.

Unidades de Procesamiento Integradas (PE). Samsung también propuso integrar algunos elementos de procesamiento (Elementos de Procesamiento) en el chip base, descargando así parte de los cálculos que de otro modo se realizarían en la xPU a la memoria, reduciendo de esta forma los requisitos de ancho de banda D2D, el consumo de energía y la carga térmica. Este formato se denomina AHBM (Advanced HBM).

Mejorar la fiabilidad y las capacidades de prueba. La segunda fase también incluye la integración de sensores RAS (fiabilidad, disponibilidad y facilidad de mantenimiento) avanzados y funciones de telemetría en tiempo real, así como capacidades de autodiagnóstico en el chip (ATIP), en el chip base para mejorar el rendimiento y la cobertura de las pruebas.

Fase 3: zHBM – Al eliminar la capa intermedia, la DRAM se aplica directamente al chip de procesamiento.

La tercera fase es la forma definitiva de toda la hoja de ruta: zHBM .

Los sistemas de IA convencionales actuales utilizan una arquitectura de empaquetado 2.5D, donde la GPU y la HBM se colocan una al lado de la otra en el mismo interposer, transmitiendo datos a través de interconexiones horizontales. El enfoque zHBM consiste en integrar verticalmente esta estructura, apilando la DRAM directamente sobre el chip xPU, lo que da lugar a una verdadera integración vertical 3D.

Samsung describe las características clave de zHBM como las siguientes:

E/S distribuida : Minimización de la distancia de transferencia de datos dentro de la pila HBM.

Estructura 3D : Elimina las interfaces 2D tradicionales, mejorando significativamente la eficiencia del sistema.

El consumo de energía de E/S objetivo es de aproximadamente 0,5 pJ/bit , lo cual se logra eliminando módulos redundantes como los SerDes.

El ancho de banda aumentó en más de 2,3 veces y el margen térmico del sistema alcanza los 100 W.

La solución de demostración de Samsung consistía en apilar una capa zHBM de cuatro capas sobre una XPU.

Para lograr estos objetivos, Samsung está desarrollando dos tecnologías de empaquetado clave: WoW (Wafer on Wafer) y HCB (Hybrid Cube Bonding) para conseguir una densidad de E/S ultra alta y, en última instancia, construir un sistema de codiseño SoC-DRAM unificado.

La lógica fundamental detrás de la hoja de ruta

El objetivo principal de la presentación de Samsung era reposicionar el chip base de HBM, pasando de ser una "estación de transferencia de datos pasiva" a un "socio inteligente con capacidades informáticas proactivas".

La lógica evolutiva de las tres etapas es clara: primero, se reduce el área y se libera espacio xPU mediante mejoras en los procesos (primera etapa); luego, se integran más funciones y se amplía la capacidad y la potencia de cálculo utilizando el espacio liberado (segunda etapa); finalmente, la arquitectura del sistema se reconstruye por completo mediante la integración vertical 3D, logrando avances significativos en el consumo de energía, el ancho de banda y la gestión térmica simultáneamente (tercera etapa).

En sus conclusiones, Samsung afirmó: "Al dominar el empaquetado avanzado y el codiseño unificado de SoC-DRAM, superaremos los cuellos de botella en consumo de energía, área y capacidad que limitan los sistemas de IA, allanando el camino hacia una mayor eficiencia, un mayor rendimiento y una mayor escalabilidad en los próximos años".