Bernstein о семи видах памяти: после HBM борьба DRAM и NAND за следующий рынок на триллион долларов

Последние два года рыночный нарратив об ИИ-памяти почти полностью вращался вокруг HBM. Но по мере перехода больших моделей от обучения к масштабному инференсу простое наращивание HBM уже не решает всех проблем.

В свежем глобальном отчете по памяти Bernstein отмечает, что разные рабочие нагрузки ИИ предъявляют заметно разные требования к памяти: обучение делает упор на вычислительную мощность и пропускную способность, этап декодирования в инференсе больше зависит от емкости, RAG требует крупномасштабных баз данных, а агентные рабочие процессы одновременно увеличивают нагрузку и на традиционные, и на ИИ-серверы.

Это означает, что изменения, вызванные ИИ, распространяются от HBM вниз по стеку — на системную DRAM, SSD, HDD и даже ленточные накопители. Вокруг «стены памяти» отраслевая цепочка начинает вставлять новые продукты между существующими уровнями, стремясь найти новый баланс между производительностью, емкостью и стоимостью.

Предел масштабирования инференса может определяться KV-кэшем

На этапе обучения больших моделей GPU и HBM по-прежнему занимают центральное место.

Обучение требует частого чтения параметров модели и промежуточных данных, поэтому требования к вычислительной мощности и пропускной способности памяти очень высоки. Но обучение большой модели не опирается только на HBM: исходные наборы данных нужно хранить на более дешевых носителях; перед попаданием в GPU данные обычно кэшируются и предобрабатываются системной DRAM и локальными SSD; а обучение, длящееся недели или даже месяцы, требует регулярного сохранения контрольных точек, чтобы сбой оборудования или ПО не заставил начинать задачу с нуля.

Таким образом, одно крупное обучение фактически задействует всю иерархию — от HBM и системной DRAM до локальных SSD и сетевого хранилища.

На этапе инференса требования к памяти еще сильнее дифференцируются.

Инференс обычно можно разделить на два этапа: предзаполнение (Prefill) и декодирование (Decode). Предзаполнение обрабатывает пользовательский ввод и генерирует первый токен, выполняя в основном крупные матричные операции, и больше ограничено вычислительной мощностью. На этом этапе важнее загрузка GPU и пропускная способность HBM, а типичная метрика — задержка первого токена.

Этап декодирования устроен иначе. Модель генерирует токены один за другим и при создании нового токена обращается к ранее полученной информации. Чтобы избежать повторных вычислений, система обычно хранит эти данные в KV-кэше.

У KV-кэша есть две важные особенности: его объем линейно растет с длиной контекста, и каждому пользователю требуется отдельный кэш. Поэтому при удлинении контекста и росте числа одновременных пользователей оба фактора совместно увеличивают занимаемую память.

Bernstein полагает, что при масштабном развертывании ИИ память, занимаемая KV-кэшем, может превысить объем, занимаемый весами модели, и стать главным фактором, ограничивающим число одновременных пользователей и размер контекстного окна. Сколько пользователей может обслуживать модель и какую длину контекста поддерживать, в конечном счете напрямую влияет на масштаб выручки.

С этой точки зрения в эпоху инференса конкуренция идет не только за то, сколько вычислений может выполнить чип, но и за то, насколько дешево система может хранить и читать постоянно растущий контекст.

RAG и агенты смещают спрос в сторону традиционной памяти

Распространение RAG и агентов еще сильнее выводит спрос на ИИ-хранилища за пределы HBM.

RAG в основном включает два этапа: построение базы данных и поиск по ней. При построении базы системе нужно обрабатывать большие объемы неструктурированных данных — PDF, веб-страницы, код, — а затем преобразовывать их в пригодные для поиска векторы и индексы. Этот процесс больше зависит от емких SSD и системной DRAM, а роль HBM относительно ограничена.

После создания базы данных пользовательский запрос сначала преобразуется в вектор, а затем сопоставляется с содержимым базы. Генерацию вектора можно быстро выполнить на GPU и HBM, но сам поиск обычно больше опирается на системную DRAM. Результаты поиска затем объединяются с вопросом пользователя и проходят обычный цикл предзаполнения и декодирования.

Агентные рабочие процессы создают еще более тяжелую нагрузку.

Традиционный диалог — это, как правило, однократный вызов «ввод — модель — вывод», тогда как агенту нужно разбивать цель на несколько шагов, вызывать другие модели или внешние инструменты, сохранять промежуточные результаты и перепланировать действия на основе обратной связи. Результат каждого вызова может стать входом для следующего вызова модели.

Это одновременно увеличивает спрос двух типов: с одной стороны, вызовы инструментов и не-ИИ-задачи требуют больше CPU и системной памяти; с другой — постоянная передача контекста между несколькими моделями быстро расширяет нагрузку на предзаполнение, декодирование и KV-кэш.

Поэтому развитие агентных приложений выгодно не только производителям GPU и HBM, но и может подстегнуть спрос на серверную DRAM, корпоративные SSD и более дешевые носители.

Между HBM и SSD зарождается новый уровень памяти

Память традиционного сервера можно условно разделить на внутрипроцессорный кэш, системную DRAM, локальные SSD и общее хранилище. ИИ-серверы добавляют в эту структуру HBM, но емкость HBM ограничена, а стоимость высока, поэтому она не может вместить все данные.

Текущее решение отраслевой цепочки — вставлять новые продукты между разными уровнями.

CXL пытается объединить физически разнесенную память в общий пул ресурсов, чтобы CPU, GPU и устройства расширения могли более гибко обращаться к DRAM. Некоторые продукты также используют DRAM или SRAM в качестве кэша в сочетании с NAND, снижая стоимость и одновременно сокращая задержку доступа.

Продвигаемая Nvidia инициатива «Storage Next» пытается перенести часть управления хранилищем с CPU на GPU и дать NAND задержку, IOPS и гранулярность доступа к данным, более близкие к DRAM. SSD серии GP от Kioxia на базе XL-FLASH — представитель именно этого направления.

CMX ориентирован главным образом на KV-кэш. Он размещает SSD в отдельных узлах данных и подключает их к вычислительным узлам через DPU, Ethernet и коммутационные чипы. Цель — совместно использовать контекст инференса между разными GPU, сократить дублирующее хранение и одновременно преодолеть ограничение по объему памяти одного сервера.

Все эти подходы указывают на один тренд: ИИ-система не может долго держать все активные данные в HBM, поэтому их нужно распределять по разным уровням в зависимости от частоты доступа и требований к задержке.

Горячие данные остаются в HBM, часть контекста переносится в системную DRAM или высокопроизводительные SSD, а более холодные данные опускаются дальше — в обычные SSD, HDD и даже на ленту. Чем тоньше иерархия памяти, тем выше шансы системы найти баланс между производительностью и стоимостью.

Новые технологии появляются массово, но коммерциализация остается неопределенной

Вокруг «стены памяти» отраслевая цепочка уже предложила несколько новых маршрутов.

zHBM от Samsung предполагает размещение стека HBM поверх процессора, чтобы еще сильнее сократить расстояние передачи данных. Однако такая конструкция требует отводить тепло, выделяемое GPU, и предъявляет более высокие требования к выходу годных и стоимости гибридного соединения на уровне пластины.

Продвигаемая Nvidia технология NVHBM передает разработку базового кристалла самой Nvidia, а производство, возможно, будет осуществлять TSMC. Такое решение способно снизить энергопотребление и повысить пропускную способность, но может ослабить ценность проектирования и производства базового кристалла HBM для производителей памяти. По мере стандартизации продукта часть добавленной стоимости может перейти от производителей памяти к Nvidia и контрактным производителям.

HBF, продвигаемый SanDisk и SK Hynix, рассчитывает использовать NAND для обеспечения пропускной способности, близкой к HBM, при большей емкости и меньшей удельной стоимости. Однако между NAND и DRAM по-прежнему существует значительный разрыв по задержке и производительности, и HBF нужно преодолеть несколько технологических уровней, так что сложность внедрения немалая.

ZAM от Intel пытается повернуть кристаллы DRAM на 90 градусов для улучшения отвода тепла и нацелена на практическое внедрение к 2029 финансовому году; HBC от Qualcomm использует LPDDR и традиционную упаковку, жертвуя частью производительности ради обхода затрат на CoWoS.

Кроме того, PIM пытается добавить вычислительные возможности непосредственно в чипы памяти, чтобы сократить перемещение данных между процессором и памятью. Но это меняет существующую вычислительную архитектуру, требует совместной адаптации процессоров, ПО и сети, а также бьет по уже высокозрелой системе разделения труда между логическими чипами и чипами памяти. Bernstein считает, что отраслевое внедрение PIM остается ограниченным.

Таким образом, быстрое увеличение числа новых решений не означает, что все маршруты смогут сформировать масштабный рынок. Совместимость с существующей программной и аппаратной экосистемой, наличие ценового преимущества и способность сторон в цепочке поставок достичь баланса интересов определят конечный результат коммерциализации.

Выгодоприобретатели ИИ-памяти — не только производители HBM

С инвестиционной точки зрения суждение Bernstein довольно однозначно: импульс ИИ для индустрии памяти распространяется от нескольких высококлассных продуктов на большее число уровней.

HBM остается ядром обучения и высокопроизводительного инференса, и Samsung Electronics, SK Hynix и Micron продолжат выигрывать от спроса на память с высокой пропускной способностью. Но по мере масштабирования инференса значимость системной DRAM и NAND будет расти. Переполнение KV-кэша, базы данных RAG и большие объемы промежуточных данных, порождаемых агентами, также увеличат спрос на SSD и общие хранилища.

Более холодные данные продолжат опускаться вниз по иерархии. Bernstein отмечает, что рост данных, вызванный ИИ, уже начал приносить пользу HDD; в некоторых сценариях из-за нехватки емкости NAND и HDD растет спрос даже на ленточные накопители, традиционно используемые в основном для архивирования.

Отчет сохраняет рейтинг «выше рынка» для Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate и Western Digital. При этом Samsung Electronics, SK Hynix и Micron соответствуют DRAM и HBM, SanDisk выигрывает от NAND и HBF, а Seagate и Western Digital — от более дешевых хранилищ большой емкости. Kioxia получила рейтинг «ниже рынка».

Однако главная ценность этого отчета не в перечислении набора новых технологических аббревиатур, а в переопределении границ рынка ИИ-памяти.

В эпоху обучения узкое место было сосредоточено в основном в GPU и HBM; в эпоху инференса и агентов узкое место начинает распространяться по всей системе памяти. Будущая конкуренция в ИИ-инфраструктуре будет зависеть и от того, насколько быстро чипы могут вычислять, и от того, могут ли данные достаточно дешево и эффективно перемещаться между HBM, DRAM, NAND и общими хранилищами.