Десятилетие ставок на Cerebras: как "чипы искусственного интеллекта в масштабе пластины" попали на Nasdaq.

Оригинальное название: Размышления о десятилетии с Cerebras
Автор оригинала: Стив Вассалло
Составила: Пегги, BlockBeats

Примечание редактора: 14 мая компания Cerebras официально разместила свои акции на Nasdaq под тикером CBRS. В первый день торгов акции выросли примерно на 68%, что сделало это IPO одним из самых ожидаемых IPO в сфере аппаратного обеспечения для ИИ с 2026 года.

В этой статье, написанной Стивом Вассалло, одним из первых инвесторов Cerebras, рассказывается о его 19-летнем партнерстве с Эндрю Фельдманом, начиная с SeaMicro и заканчивая Cerebras. На первый взгляд, это история венчурного капитала от предварительного соглашения до IPO, но на самом деле она повествует о том, как передовая компания по производству оборудования сделала ставку на фундаментальную перестройку архитектуры вычислительных систем искусственного интеллекта в то время, когда это не было общепринятым мнением: от микросхем на уровне пластин и узких мест пропускной способности памяти до ряда инженерных проблем, таких как электропитание, теплоотвод и электрическая целостность, Cerebras столкнулась не только с отдельными техническими проблемами, но и с необходимостью переосмысления всей современной вычислительной системы.

Наиболее примечательно не то, что Cerebras в конечном итоге создала чип на уровне кремниевой пластины, в 58 раз превышающий по размерам традиционные чипы, а то, что компания с самого начала выбрала направление, противоречащее отраслевым нормам: когда графические процессоры стали стандартным решением для обучения ИИ, она попыталась переосмыслить понятие «компьютер, действительно созданный для ИИ». Это требует не только технологического суждения, но и терпения инвесторов, и, что более важно, долгосрочных, не связанных с транзакциями, доверительных отношений между инвесторами и командой основателей.

В контексте сегодняшней конкуренции на рынке аппаратного обеспечения для ИИ, значимость Cerebras заключается в том, что компания напоминает рынку о том, что революция в вычислительной мощности — это не просто увеличение количества графических процессоров, но и, возможно, переосмысление самой вычислительной архитектуры.

Ниже приведён оригинальный текст:

В пятницу, 1 апреля 2016 года, я отправил электронное письмо Эндрю Фельдману, сообщив ему, что перелезу через забор на его заднем дворе и лично доставлю ему предварительное соглашение об инвестировании в компанию Cerebras.

В тот день был День дураков, но я не шутил.

Строго говоря, это не было стандартной практикой для венчурной фирмы. Но к тому времени я знал Эндрю уже девять лет и почти два года обсуждал с ним нашу следующую компанию. Я никак не мог упустить эту сделку из-за того, что провел субботний день, пересматривая условия сделки.

Я впервые встретил Эндрю в октябре 2007 года. В то время он и Гэри Лаутербах только что основали компанию SeaMicro. Я не инвестировал в тот раунд, но мы очень хорошо поладили, особенно мне понравился их подход к решению проблем, основанный на фундаментальных принципах. С тех пор я слежу за их деятельностью.

Для развития по-настоящему ценных отношений требуется время. То же самое относится и к по-настоящему ценным компаниям. Сегодня, со стороны, Cerebras — это десятилетняя компания, готовящаяся к выходу на биржу. Но, на мой взгляд, это девятнадцатилетние отношения, которые наконец-то достигли своего апогея.

В августе 2019 года мы с Эндрю проводили конференцию Hot Chips в кампусе Стэнфорда. В то время компания Cerebras выпустила первое поколение Wafer-Scale Engine.

Глубокие взаимоотношения и иррациональные амбиции

Когда AMD приобрела SeaMicro в 2012 году, у меня было предчувствие, что Эндрю не задержится в крупной компании надолго. Он обладал сильным соревновательным духом и бунтарским характером. К началу 2014 года он начал искать возможности уйти, и мы стали часто встречаться, чтобы обсудить, чем бы мы могли заняться дальше.

В то время два момента были далеки от консенсуса: во-первых, что ИИ действительно станет полезным; и во-вторых, что графические процессоры не являются наиболее подходящей вычислительной архитектурой для ИИ.

Что касается первого вопроса, то у многих моих знакомых умных людей разные мнения. С момента появления AlexNet в 2012 году некоторые исследовательские сообщества начали добиваться почти волшебных результатов с помощью сверточных нейронных сетей. Но в более широкой индустрии программного обеспечения ИИ по-прежнему находится где-то между маркетинговым модным словом и научным исследовательским проектом.

Вторая проблема, аппаратная, практически не рассматривалась всерьез. Графические процессоры стали выбором по умолчанию для обучения нейронных сетей, главным образом потому, что исследователи обнаружили, что они «не так уж плохи» по сравнению с центральными процессорами. Создание новой вычислительной системы специально для задач искусственного интеллекта означает необходимость переосмысления основной архитектуры, используемой исследователями во всем мире в то время.

Но Эндрю, Гэри и их соучредители Шон, Майкл и Джей Пи увидели другое направление. Каждый из них обладал многолетним опытом работы в области микросхем и систем: опыт Гэри был связан с новаторской работой в области потоковой обработки данных и внеочередного выполнения инструкций в 1980-х годах; Шон специализировался на передовой серверной архитектуре; Майкл занимался программным обеспечением и компиляторами; а Джей Пи был глубоко вовлечен в разработку аппаратного обеспечения. Они представляли собой чрезвычайно редкую группу: каждый из них был исключительным, а вместе их способности многократно возрастали. Они смогли представить себе совершенно новый тип компьютера.

Они считают, что если ИИ действительно раскроет свой потенциал, то размер рынка, который в результате этого раскроется, значительно превысит сумму всех существующих форм вычислительных систем.

Они также разглядели истинную природу графических процессоров: изначально это были чипы, разработанные для обработки графики, и лишь временно используемые в качестве инструментов для обучения ИИ в новой области. Хотя они действительно лучше, чем центральные процессоры, в параллельной обработке, никто не стал бы проектировать архитектуру, подобную графическому процессору, с нуля для задач ИИ. Реальным ограничением возможностей нейронных сетей является не столько вычислительная мощность, сколько пропускная способность памяти. Это означает, что создаваемый ими чип не будет фокусироваться на оптимизации матричного умножения внутри изолированных ядер, а скорее на том, как эффективно происходит передача данных по всей вычислительной структуре.

Внутри компании решение об инвестировании в Cerebras было далеко не единогласным. Несколько моих партнеров лично убедились в том, что предыдущий раунд инвестиций в полупроводниковую отрасль почти полностью обернулся убытками, и они очень откровенно выражали свои опасения. Но в конечном итоге мы пришли к общему мнению как команда. В те выходные в апреле 2016 года мы ясно дали понять Эндрю: мы хотим стать первым инвестором, который предоставит ему предварительное соглашение.

Несколько недель спустя Эндрю, Гэри, Шон, Майкл и Джей Пи переехали в наш офис EIR на втором этаже здания по адресу 250 Middlefield. У меня до сих пор сохранился план этажа, нарисованный тогдашним офис-менеджером. На этом плане компания Cerebras расположена рядом с одним из основателей Фонда и всего в нескольких дверях от Бхавина Шаха, который позже основал Moveworks. Это был этаж, идеально подходящий для развития стартапов.

Первый головной офис компании Cerebras располагался на втором этаже нашего старого офиса по адресу: Миддлфилд, 250.

Знайте, какие правила можно нарушать, а какие — нужно.

До появления Cerebras самый большой вычислительный чип в истории имел приблизительные размеры 840 квадратных миллиметров, что примерно соответствует размеру почтовой марки. Однако размер чипа Cerebras составляет 46 000 квадратных миллиметров, что в 58 раз больше.

Выбор микросхем на уровне кремниевой пластины означает выбор всех сопутствующих проектных задач. За почти 80 лет истории вычислительной техники никому так и не удалось по-настоящему преуспеть в этом. Это также означает, что никто никогда систематически не решал следующие проблемы: как обеспечить питание такой массивной микросхемы? Как её охладить? Как поддерживать электрическую целостность между десятками тысяч точек подключения?

Для достижения вычислительной мощности на уровне кремниевых пластин компании Cerebras пришлось одновременно переосмыслить практически все аспекты современных вычислительных технологий: полупроводники, системы, структуры данных, программное обеспечение и алгоритмы. Каждая из этих областей представляла собой отдельный стартап. Эндрю и его команда решили сначала заняться наиболее сложными техническими проблемами. Благодаря их напряженным и почти неустанным усилиям эти проблемы были преодолены одна за другой.

Каждые шесть-восемь недель мы проводим заседание совета директоров. Они представляют нам результаты своей работы с момента последнего заседания: новый вариант конструкции системы, новая схема электропитания или доработка системы терморегулирования. Благодаря многократному решению системных проблем со всех сторон, они выработали с трудом приобретенную способность четко излагать свои идеи. Они объясняют, где, по их мнению, были допущены ошибки, и что они планируют попробовать дальше.

Мы задаем вопросы, а затем тесно сотрудничаем с командой, мобилизуя необходимых людей, ресурсы и связи, чтобы помочь им совершить новые прорывы. Шесть-восемь недель спустя, когда мы встречаемся снова, история повторяется с очередной технической проблемой: еще одна область для исследования. Каждое решение выявляет следующую проблему, которую необходимо решить.

Их первый прототип микросхемы начал дымить при первом же включении. Команда назвала это «тепловым событием» — термином, который обычно используют для описания пожара, если не хотите напугать руководство или арендодателя.

Я подсчитывал потребление энергии на квадратный миллиметр, отчасти из любопытства, а отчасти потому, что цифры казались абсурдно высокими. Поэтому мы пригласили инженеров из компании Exponent, занимающейся анализом отказов, которая раньше называлась Failure Analysis. Они подтвердили, что показатели потребления энергии действительно настолько заоблачные, насколько кажутся, и помогли нам придумать ряд решений, которые не требовали оспаривания второго закона термодинамики. В конце концов, это закон, о котором Эндрю достаточно умен, чтобы не спорить.

Дисциплина инженера заключается в умении различать, какие правила можно нарушать, какие можно обходить, а какие необходимо соблюдать. Эндрю и его команда доказали свою способность различать эти понятия. Они знают, когда бросают вызов устоявшимся нормам — то, что им свойственно делать; и когда бросают вызов законам физики — то, чего им делать не следует.

При создании передовых технологий неудачи неизбежны. Единственный способ преодолеть неудачи — это дисциплина, настойчивость и, самое главное, доверие: доверие к миссии, доверие друг к другу и доверие к тому факту, что даже если первый прототип выйдет из строя, вы все равно вернетесь в лабораторию на следующее утро, чтобы начать следующую итерацию.

Не существует транзакционной версии этой работы. Есть только долгосрочная версия: постоянное присутствие в комнате среди неполных решений и терпеливых объяснений. Таким образом, вы будете там, чтобы стать свидетелем ее окончательного успеха.

Этот момент произошёл в августе 2019 года. Эндрю, Шон и их команда стояли в лаборатории, наблюдая за работой совершенно нового компьютера, который они разработали. Неискушенному глазу казалось, что он не делает ничего интересного. По словам Эндрю, это было, вероятно, так же скучно, как наблюдать за высыханием краски. Но на этот раз всё было иначе: никогда прежде банка «краски» не высыхала по-настоящему. Они простояли там вместе 30 минут, а затем вернулись к работе.

Выбор партнеров для строительства имеет решающее значение.

Некоторые люди выбирают задачи, основываясь на том, что, по их мнению, они могут решить. Критерии выбора задач для Эндрю — это то, что, по его мнению, стоит решать. Постепенные итерации его не вдохновляют; ему нужны скачки в тысячу раз. С самого первого дня он хотел превратить Cerebras в уникальную компанию, которая останется с нами на долгие годы.

Эта целеустремленность отчасти обусловлена его личностью. Эндрю описывает это как «симптом» компьютерных архитекторов — зацикленность на одной идее на протяжении десятилетий. Но, на мой взгляд, это скорее «симптом» основателей стартапов. Столкнувшись с проблемой, он сначала спрашивает себя: могу ли я создать что-то, что совершит скачок в развитии? Затем он спрашивает: если я добьюсь успеха, будет ли кому-нибудь это интересно? Если ответ на оба вопроса положительный, он посвятит этому следующие десять лет своей жизни.

Ещё одной движущей силой стало его воспитание. Эндрю рос в окружении гениев, как и большинство детей, которые смотрят телевизор. Его отец был выдающимся профессором эволюционной биологии, который каждое воскресенье играл в парный теннис с шестью другими людьми. Из этих шести трое впоследствии получили Нобелевские премии, а один — Филдсовскую премию.

По словам Эндрю, эти выдающиеся ученые терпеливо объясняли ему свои работы в области физики, математики и молекулярной биологии на языке, понятном ребенку. Это дало ему глубокое представление о том, что такое настоящий интеллект; и он также понял, как говорила его мать, что быть умным вовсе не означает быть заносчивым.

Постепенно я понял, что это одна из главных черт характера Эндрю, столь же важная, как его бунтарские амбиции и почти фототропическое чутье на действительно важные проблемы. Он твердо верил, что самые выдающиеся люди, которых он когда-либо встречал, часто были еще и исключительно добрыми.

Это убеждение определило то, как его команда объединялась для выполнения чрезвычайно сложных задач. Все 30 первых сотрудников Cerebras работали с ним; некоторые из них были с ним с 1996 года. Сегодня в Cerebras работает около 700 сотрудников, примерно 100 из которых перешли в другие компании вслед за ним.

В августе 2022 года команда основателей Cerebras посетила Музей истории компьютеров. Слева направо: Шон Ли, Гэри Лаутербах, Майкл Джеймс, Джей Пи Фрикер и Эндрю Фельдман.

Важно отметить, что доброта и соревновательный дух не противоречат друг другу. Андрей чрезвычайно стремится к победе. Он любит говорить, что является профессиональной версией Давида, сражающегося с Голиафом. Голиаф медлителен и всегда настороже, опасаясь лобовой атаки, что оставляет место для всех других тактик. Преимущество Давида заключается в том, что он появляется в таких местах и ситуациях, недоступных Голиафу.

В SeaMicro крупнейшим партнером Эндрю по каналам продаж в Японии была компания NetOne. Главным поставщиком NetOne была Cisco, которая развлекала своих партнеров частными самолетами и яхтами — активами, стоимость которых превышала стоимость большинства домов в Пало-Альто. Эндрю, располагая гораздо более скромным бюджетом, пригласил генерального директора NetOne на барбекю к себе на задний двор. Позже генеральный директор рассказал ему, что сотрудничает с Cisco уже несколько десятилетий, но никогда не был приглашен ни к кому в гости. Этот, казалось бы, небольшой, но невероятно личный жест — то, что Голиаф никогда бы не сделал — укрепил их отношения.

От первого предварительного соглашения до IPO

Сегодня утром Эндрю позвонил в колокол, возвестивший об открытии торгов на Nasdaq. Я стоял рядом с ним. Прошло десять лет и 2600 миль с тех пор, как все началось в нашем офисе по адресу 250 Middlefield.

Сегодня еще встречаются редкие основатели, которые делают то же, что и Эндрю тогда: рисуют на досках в 3 часа ночи, борются с нерешенными техническими проблемами. Их объединяет та же непоколебимая решимость и бунтарский дух. Они пытаются найти настоящего партнера, готового бороться вместе с ними: того, кто углубится в решение проблемы, когда первый прототип не запустится, и останется до тех пор, пока он наконец не заработает.

Именно таких основателей я хочу поддерживать: они выбирают проблемы, которые действительно стоит решать, придумывают решения, которые в 1000 раз лучше текущей ситуации, и продолжают совершенствоваться и упорно преодолевать неизбежные трудности на этом пути.

Ради таких основателей, как Эндрю, Гэри, Шон, Майкл и Джей Пи, я бы с удовольствием перелез через забор на заднем дворе в субботу днем и лично вручил им предварительное соглашение.