Компания Hynix опубликовала свою дорожную карту CPO в ведущем научном журнале: она предусматривает не только «использование света между вычислительными мощностями», но и распространение света на интерфейсы памяти.

Компания SK Hynix в сотрудничестве с Университетом Вирджинии и другими учреждениями опубликовала в журнале *Nature Electronics* статью о дорожной карте развития технологии CPO (Computational Processing Point — точка вычислительной обработки). В статье отмечается, что, хотя вычислительная мощность утраивается каждые два года, пропускная способность межсоединений увеличивается всего в 1,4 раза, что делает «барьер пропускной способности» основным узким местом для развития ИИ. Технология CPO указана как ключевой прорыв, а дальнейшая перспектива заключается в распространении CPO на интерфейсы памяти, что позволит нескольким ускорителям ИИ совместно использовать один и тот же пул памяти и повысить эффективность использования памяти.

20 августа исследователи из SK Hynix, Университета Вирджинии и других учреждений совместно опубликовали статью в ведущем научном журнале * Nature Electronics *, в которой систематически изложили план развития технологии ко-пакетированной оптики (CPO) в высокопроизводительных вычислениях и искусственном интеллекте. Это первый случай, когда SK Hynix публично представила техническую концепцию своей архитектуры межсоединений для ИИ в столь престижном журнале.

В статье утверждается, что, хотя HBM решил проблему узкого места в памяти внутри чипов, по мере масштабирования кластеров ИИ до тысяч графических процессоров передача данных между стойками стала новым ограничением — «барьером пропускной способности». CPO позиционируется как ключевой путь для преодоления этого узкого места.

В долгосрочной перспективе, согласно данной работе, планируется дальнейшее расширение применения оптических межсоединений до интерфейсов памяти. Существующие решения в основном предназначены для передачи данных между процессорами и стойками. Однако предлагаемая «оптико-ориентированная» архитектура напрямую соединяет пул ресурсов процессора (пул XPU) с пулом ресурсов памяти через фотонный интерпозер. Это позволяет нескольким ускорителям ИИ совместно использовать большой объем памяти, преодолевая ограничения, связанные с существующими физическими параметрами корпусирования.

Авторами статьи, ответственными за переписку, являются Сынхун Хонг, руководитель группы по разработке инфраструктуры искусственного интеллекта в SK Hynix, и Кюсан Ли, профессор кафедры электротехники и вычислительной техники Университета Вирджинии. В число участвующих учреждений также входят Университет Иллинойса в Урбана-Шампейн (UIUC), Наньянский технологический университет (NTU), Массачусетский технологический институт (MIT) и Университет Ёнсе.

Сегодня утром акции SK Hynix подскочили более чем на 11% на фоне новостей о плане выкупа акций и приобретения бумаг, выпущенных компанией CPO. Акции отечественных компаний, занимающихся разработкой концепций CPO, также продемонстрировали волатильную динамику роста: акции Taicheng Optoelectronics выросли более чем на 12%, Zhongjing Electronics ранее достигли дневного лимита, а Tianzhun Technology, Shijia Photonics, Dekel и Liante Technology выросли более чем на 6%.

Препятствие в пропускной способности: чем мощнее вычислительная мощность, тем очевиднее узкое место.

Обучение моделей искусственного интеллекта больше не ограничивается одним чипом или сервером, а осуществляется в масштабных сетях, состоящих из стоек и модулей. В такой архитектуре общая производительность системы зависит не только от эффективности соединения между процессором и памятью, но и в значительной степени от скорости передачи данных между стойками.

Данные показывают, что вычислительная мощность увеличивается примерно в три раза каждые два года, в то время как пропускная способность межсоединений за тот же период увеличивается лишь примерно в 1,4 раза.

Этот разрыв является источником «пропускной стены». Традиционные электрические соединения из медных проводов по-прежнему имеют преимущество в стоимости на коротких расстояниях, но по мере увеличения скорости и расстояния передачи резко возрастают потери сигнала и энергопотребление, что требует все более сложных схем компенсации, а также увеличивается задержка.

В своей статье Кюсанг Ли прямо указывает: «Даже если вычислительные чипы станут мощнее, общая производительность системы не улучшится, если передача данных между чипами не сможет обеспечить необходимый уровень скорости. Замена медных межсоединений, имеющих присущие им физические ограничения, на оптические межсоединения — наиболее перспективный путь к достижению масштабируемости в будущем».

CPO: Упаковка оптического модуля в процессорный корпус.

Основная идея CPO заключается в интеграции оптического приемопередатчика (TRx) в тот же корпус, что и процессор, что позволяет микросхемам обмениваться данными с помощью оптических сигналов вместо электрических сигналов на большие расстояния.

Сынхун Хон описал это так: «CPO коренным образом меняет способ передачи данных в системах искусственного интеллекта, устраняя одно из самых больших препятствий на пути масштабирования вычислительной мощности».

В частности, технология CPO сжимает расстояние передачи высокоскоростных электрических сигналов до кратчайшего возможного значения, заменяя оставшийся путь оптическим каналом. Это позволяет сохранить эффективность внутренних электрических соединений корпуса, используя при этом низкие потери света для достижения высокоскоростной передачи данных между микросхемами, стойками и кластерами, а также обеспечивая более высокую устойчивость к электромагнитным помехам.

В статье изложены четкие технические характеристики инфраструктуры искусственного интеллекта следующего поколения: пропускная способность, превышающая 100 Тб/с на узел, энергопотребление менее 1 пДж/бит и межчиповая задержка менее 10 наносекунд.

В статье также описывается эволюция технологии CPO от 2D и 2.5D промежуточных слоев до 3D гетерогенной многослойной структуры, а также перечислены ключевые технические проблемы, которые необходимо преодолеть для коммерческого внедрения.

Долгосрочная цель: расширить возможности подключения света к интерфейсам памяти.

В статье предлагается долгосрочная концепция дальнейшего расширения оптических межсоединений до интерфейсов памяти — архитектурная идея, которая идет на шаг дальше, чем текущее обсуждение CPO.

В существующих решениях оптические межсоединения в основном используются для передачи данных между процессорами и между стойками. Однако предлагаемая «оптико-ориентированная» архитектура напрямую соединяет пул ресурсов процессоров (пул XPU) и пул ресурсов памяти через фотонный межсоединитель.

Практическая значимость этой архитектуры заключается в том , что несколько ускорителей ИИ могут совместно использовать большой пул памяти, вместо того чтобы каждый ускоритель имел собственную независимую память. Это не только повышает эффективность использования памяти, но и обеспечивает инфраструктуре ИИ более гибкую масштабируемость по мере роста размера модели.

Кюсанг Ли заявил: «Расширение оптических межсоединений до интерфейсов памяти позволит преодолеть физические ограничения вычислительных чипов, устранив ограничения на объем памяти и количество электрических соединений».

Хонг добавил: «Самое большое преимущество заключается в том, что за счет повышения эффективности передачи данных системы ИИ могут масштабироваться более гибко. В конечном итоге это дает клиентам основу для более эффективного управления инфраструктурой ИИ».

От поставщиков HBM до участников системной архитектуры

Технология HBM решила проблему пропускной способности памяти в рамках упаковки ускорителей ИИ, что в последние годы являлось ключевым конкурентным преимуществом SK Hynix. Выпуск дорожной карты CPO свидетельствует о том, что компания расширяет свою технологическую стратегию от отдельных компонентов до архитектуры системного уровня.

В интервью Хонг четко выразил эту тенденцию: «Компании, занимающиеся производством памяти, эволюционируют от предоставления отдельных компонентов к превращению в партнеров, которые помогают повысить конкурентоспособность целых систем клиентов с помощью таких технологий, как CPO».

Кюсанг Ли также отметил, что сотрудничество между академическими кругами и промышленностью в этом процессе незаменимо: «Академические круги преуспевают в расширении границ производительности, в то время как промышленность понимает практические требования крупномасштабного внедрения, включая выход годной продукции, стоимость, теплоотвод и цепочку поставок. Сочетание этих двух точек зрения имеет важное значение для разработки осуществимой дорожной карты».

Он также признал, что коммерциализация по-прежнему сталкивается со значительными проблемами: «От интеграции маломощных фотонных устройств до разработки протоколов обеспечения согласованности и повышения надежности системы — проблемы остаются существенными. Ключ заключается в совместном проектировании запоминающих устройств с контроллерами, фотонными компонентами и упаковкой в качестве интегрированной системы».

Предупреждение о рисках и отказ от ответственности

Инвестирование сопряжено с риском; пожалуйста, будьте осторожны. Данная статья не является персональной инвестиционной рекомендацией и не учитывает конкретные инвестиционные цели, финансовое положение или потребности отдельных пользователей. Пользователи должны оценить, подходят ли какие-либо мнения, взгляды или выводы, изложенные в данной статье, для их конкретных обстоятельств. Любые инвестиционные решения, принятые на основе этой информации, принимаются на ваш собственный риск.