Samsung представила трехэтапную дорожную карту развития HBM: переход к истинной 3D ZHBM, прямая установка DRAM на вычислительный чип.

Трехэтапная дорожная карта развития HBM от Samsung направлена на достижение архитектуры «zHBM», в которой DRAM размещается вертикально поверх вычислительных чипов. Samsung утверждает, что zHBM обеспечивает снижение энергопотребления на 70% и увеличение пропускной способности на 230% по сравнению с HBM4E, а также высвобождает дополнительные 100 Вт тепловой мощности для графического процессора.

Недавно на технологической конференции Hot Chips Сангвук Хан из команды разработчиков DRAM компании Samsung представил презентацию, официально обнародовав трехэтапную дорожную карту Samsung по развитию HBM. Конечным результатом этой дорожной карты является совершенно новая архитектура под названием zHBM, которая напрямую и вертикально размещает DRAM на вычислительных чипах, таких как графические процессоры (GPU) и тензорные процессоры (TPU), полностью исключая использование 2.5D-интерпозера.

Согласно сообщению wccftech от 23 августа, Samsung заявила, что по сравнению со стандартной памятью HBM4E решение zHBM обеспечивает снижение энергопотребления на 70%, увеличение пропускной способности DRAM на 230% и экономию энергии на 100 Вт на каждый модуль DRAM, а также высвобождает 8,3% дополнительного запаса мощности для графического процессора.

Что такое модель HBM и где находятся узкие места?

HBM, или высокоскоростная память, является одним из важнейших компонентов хранения данных в современных системах обучения и вывода искусственного интеллекта. Она состоит из двух типов микросхем:

C-die (основной чип) : содержит ячейки памяти DRAM и может быть уложен вертикально до 16 слоев.

B-die (базовый кристалл) : расположен в нижней части всей структуры стека и отвечает за выполнение различных функций управления DRAM и взаимодействие с вычислительными чипами, такими как графические процессоры, через физический интерфейсный уровень (PHY).

Эти два элемента соединены через сквозное кремниевое соединение (TSV) – вертикальный проводящий канал, проходящий через микросхему.

По данным Wccftech, пропускная способность каждого стека HBM4 в настоящее время превышает 3 ТБ/с, HBM4E обеспечивает пропускную способность в диапазоне 4 ТБ/с, а HBM5 удваивает пропускную способность HBM4, достигая емкости более 60 ГБ.

Однако дальнейшее расширение полосы пропускания сталкивается с двумя основными ограничениями: физическими пределами количества и расстояния между сквозными межсоединениями (TSV) , а также верхним пределом количества и скорости ввода-вывода физического интерфейса (PHY) внутри базового кристалла . В то же время разрыв между поколениями технологического процесса базового кристалла и вычислительного чипа (xPU SoC) сокращается с каждым поколением, что является одновременно и вызовом, и отправной точкой для плана развития Samsung.

Этап 1: Подготовка места для вычислительных чипов

Основная цель первого этапа плана Samsung — «освободить» площадь кремниевых кристаллов, ранее занимаемую вычислительными чипами (xPU) .

Компания Samsung применила технологические процессы D1c и 4 нм для базовой микросхемы HBM4 (B-die), главным образом для снижения энергопотребления и уменьшения эффективной площади. Это знаменует начало настоящей интеграции DRAM и передовых логических процессов.

В частности, принимаются следующие меры:

Замена традиционного HBM PHY на интерфейс D2D сокращает длину канала, что напрямую повышает энергоэффективность и освобождает ценное пространство на кремниевой подложке для XPU.

Перенос функций контроллера памяти с XPU на чип cHBM B-die, как ожидается, позволит высвободить от 5% до 10% площади XPU, что соответствует повышению производительности на 10%–20%.

Представляем схему высокоточной реконструкции на основе SRAM (Near-MC SRAM-Based Cell Repair), использующую свободное пространство на кристалле B для размещения ресурсов реконструкции SRAM.

Одним из побочных эффектов уменьшения площади является проблема перегрева. Для решения этой проблемы Samsung внедрила технологию Heat Path Block (HPB), основанную на решении cHBM4, которая позволяет снизить пиковые температуры более чем на 35% и покрыть 50% площади физического уровня.

Второй этап: вычислительная мощность B-чипа начинает «наращиваться».

На втором этапе акцент сместился с «создания пространства» на «добавление функций», что Samsung определяет как этап расширения функционала .

Расширение объема памяти. По мере значительного расширения контекстного окна больших моделей ИИ, спрос на кэш-память типа «ключ-значение» (область памяти, используемая для хранения промежуточных состояний во время вывода модели) растет экспоненциально. Samsung планирует интегрировать контроллер расширения памяти и PHY на неиспользуемую кремниевую область базового кристалла, расширяя доступный объем памяти системы за счет внешних решений LPDDR или HBM.

Интегрированные процессоры (PE). Компания Samsung также предложила интегрировать некоторые вычислительные элементы (процессорные элементы) на базовый кристалл, перекладывая часть вычислений, которые в противном случае пришлось бы выполнять на xPU, на сторону памяти, тем самым снижая требования к пропускной способности D2D, энергопотребление и тепловую нагрузку. Этот форм-фактор называется AHBM (Advanced HBM).

Повышение надежности и расширение возможностей тестирования. Второй этап также включает интеграцию передовых датчиков RAS (надежность, доступность, ремонтопригодность) и функций телеметрии в реальном времени, а также возможностей самотестирования на кристалле (ATIP) в базовый кристалл для повышения выхода годных изделий и охвата тестирования.

Этап 3: zHBM – Устранение промежуточного слоя, DRAM напрямую устанавливается на вычислительный чип.

Третий этап представляет собой окончательную форму всей дорожной карты: zHBM .

Современные системы искусственного интеллекта используют архитектуру 2.5D-упаковки, где графический процессор и память HBM размещаются бок о бок на одном и том же межсоединении, передавая данные через горизонтальные межсоединения. Подход zHBM заключается в «вертикальной» интеграции этой структуры — путем размещения DRAM непосредственно на чипе xPU, образуя истинную 3D-вертикальную интеграцию.

Компания Samsung описывает ключевые особенности технологии zHBM следующим образом:

Распределенный ввод-вывод : минимизация расстояния передачи данных внутри стека HBM.

Трехмерная структура : устраняет традиционные двухмерные интерфейсы, значительно повышая эффективность системы.

Целевое энергопотребление при вводе/выводе составляет приблизительно 0,5 пДж/бит : это достигается за счет удаления избыточных модулей, таких как SerDes.

Пропускная способность увеличилась более чем в 2,3 раза, запас тепловой мощности системы достиг 100 Вт.

В демонстрационном решении Samsung использовалось наложение четырехслойной архитектуры zHBM поверх процессора XPU.

Для достижения этих целей Samsung разрабатывает две ключевые технологии упаковки: WoW (Wafer on Wafer) и HCB (Hybrid Cube Bonding), чтобы добиться сверхвысокой плотности ввода-вывода и в конечном итоге создать единую систему совместного проектирования SoC и DRAM.

Основная логика, лежащая в основе дорожной карты.

Основная идея презентации Samsung заключалась в том, чтобы перепозиционировать базовый кристалл HBM из «пассивной станции передачи данных» в «интеллектуального партнера с возможностями проактивных вычислений».

Логика эволюции трех этапов ясна: сначала уменьшается площадь и освобождается пространство для xPU за счет модернизации технологического процесса (первый этап); затем интегрируются новые функции, а также расширяются возможности и вычислительная мощность за счет использования освободившегося пространства (второй этап); наконец, архитектура системы полностью перестраивается посредством вертикальной 3D-интеграции, что позволяет одновременно добиться прорывов в энергопотреблении, пропускной способности и управлении тепловым режимом (третий этап).

В заключительных словах Samsung заявила: «Освоив передовые технологии упаковки и унифицированное совместное проектирование SoC и DRAM, мы преодолеем ограничения по энергопотреблению, площади и емкости, которые сдерживают развитие систем искусственного интеллекта, открывая путь к повышению эффективности, производительности и масштабируемости в ближайшие годы».