В статье Fireworks, созданной на платформе Meta, обсуждается вопрос о том, кто победит: открытый или закрытый исходный код?

Создатель видео: Silicon Valley Vector
Редактор: Пегги, BlockBeats

Примечание редактора: Поскольку модели с открытым исходным кодом быстро приближаются к передовым моделям с закрытым исходным кодом, а цены на вывод данных продолжают снижаться, дискуссии в отрасли смещаются от вопроса «у кого самая мощная модель» к вопросу «кто может развернуть модель в производственной среде с меньшими затратами». Однако по мере сближения возможностей моделей и роста потребления токенов начинает возникать более фундаментальный вопрос: за что предприятия действительно готовы платить — за более дешевые вызовы модели или за выделенный интеллект, способный надежно выполнять конкретные задачи?

Недавно Цао Цинъюнь, ведущий программы «Координаты Кремниевой долины», побеседовал с Чэнь Юфэем, соучредителем Fireworks AI. Компания Fireworks, занимающая промежуточное положение между моделями и корпоративными приложениями, в основном предоставляет клиентам услуги по выводу моделей с открытым исходным кодом, оптимизации производительности и настройке. Вместо простого обсуждения того, сможет ли открытый исходный код догнать закрытый, наблюдения Чэнь Юфэя ближе к реальным рабочим нагрузкам: куда деваются токены, почему предприятия платят и чего еще не хватает моделям для перехода от концепции к производству?

В этом диалоге Чен Юфэй разложил вопрос «открытый исходный код против закрытого исходного кода» на ряд более фундаментальных структурных вопросов: Можно ли преобразовать рост токенов в доход? Могут ли общие возможности заменить вертикальное накопление? Могут ли модели с низкой ценой пройти оценку предприятий? И как платформы для вывода информации могут повысить свою ценность между поставщиками облачных услуг и компаниями-разработчиками приложений?

Во-первых, масштабы использования и коммерческая ценность моделей с открытым исходным кодом расходятся. В прошлом основными показателями конкурентоспособности открытого исходного кода были скорость наверстывания упущенного и цены вызовов; сегодня платформа Fireworks обрабатывает примерно 400-500 гигабитных токенов в день, и фактическое использование моделей с открытым исходным кодом быстро растет. Однако бесплатный трафик, рекламные субсидии и разница в ценах на модели могут привести к тому, что статистика по токенам будет завышать некоторые показатели спроса. Клиенты могут активно использовать недорогие модели, но при этом выделять свои самые большие бюджеты на наиболее эффективные модели с закрытым исходным кодом. Это означает, что следующий этап для открытого исходного кода заключается уже не только в расширении трафика, но и в доказательстве его способности достигать или даже превосходить передовые модели в задачах высокой ценности и преобразовании ценовых преимуществ в готовность платить.

Во-вторых, универсальные и специализированные модели начинают развиваться в разных направлениях. В прошлом каждое обновление передовой модели могло напрямую сделать устаревшим целый ряд более совершенных моделей; теперь же специализированные приложения, такие как юриспруденция, здравоохранение и программирование, накапливают все более детализированные оценки, данные и рабочие процессы, и их цели оптимизации постепенно расходятся с целями передовых лабораторий. Универсальным моделям необходимо расширять свои возможности, в то время как специализированным моделям необходимо обеспечивать стабильные результаты в ограниченных сценариях. Первые могут решать более широкий спектр задач, а вторые лучше понимают, как пользователи определяют «правильность». Это означает, что барьером для входа в вертикальные компании является не только наличие индивидуальной модели, но и способность постоянно преобразовывать потребности отрасли в системы оценки и многократно переносить их по мере обновления базовой модели.

В-третьих, узкое место при внедрении ИИ в предприятиях смещается от предоставления моделей к возможностям оценки. В прошлом корпоративные проверки концепций часто основывались на опыте тестирования и субъективных суждениях; теперь, когда ИИ внедряется в производственные процессы, такие как колл-центры, юридические исследования и медицинская помощь, просто полагаться на то, что «выглядит хорошо», уже недостаточно для принятия решений о закупках. Предприятиям необходимо знать, в каких задачах модель эффективна, когда она дает сбой и насколько изменятся затраты и качество при переходе от закрытого исходного кода к открытому. Таким образом, оценка перестает быть вспомогательным инструментом и становится инфраструктурой, связывающей закупки, обучение и внедрение в производство. Тот, кто может определить задачи, установить распределение тестов и постоянно обновлять стандарты, действительно контролирует выбор модели.

В-четвертых, ценность платформ для вывода информации смещается от «продажи дешевых вычислительных мощностей» к организации моделей, оборудования и рабочих процессов. В прошлом оптимизация вывода информации понималась в основном как снижение стоимости одного токена; теперь же кэширование, разделение задач, маршрутизация моделей и управление контекстом могут напрямую влиять на скорость выполнения задач. Разные модели больше не должны конкурировать за одно и то же место, а могут выступать в качестве исполнителей и консультантов соответственно. Таким образом, бизнес-логика Fireworks остается верной: вместо создания собственного ресурсоемкого оборудования, компания связывает доход с фактическим использованием клиентских моделей посредством обучения, настройки и непрерывного вывода информации. Однако основными конкурентами на этом пути являются не отдельные новые облачные компании, а крупные облачные провайдеры, которые могут одновременно контролировать вычислительные мощности, программное обеспечение и точки доступа клиентов.

В-пятых, рост популярности моделей с открытым исходным кодом не обязательно ослабит спрос на инфраструктуру; напротив, он может снизить ценность уровня моделей и еще больше сместить акцент в сторону вывода и вычислительной мощности. Постоянное увеличение капитальных затрат технологических гигантов связано не только с расчетом краткосрочной прибыли, но и с оценкой долгосрочных рисков упустить цикл развития ИИ. Однако для новых облачных компаний, полагающихся на внешнее финансирование, затраты на заемные средства, задержки проектов и сроки окупаемости по-прежнему будут представлять собой более прямые ограничения. Удешевление моделей не означает, что создание и эксплуатация систем ИИ станут соответственно проще.

Если бы нам нужно было свести этот разговор к одному выводу, он звучал бы так: освоение моделей с открытым исходным кодом — это только начало; следующий этап коммерциализации ИИ будет сосредоточен на оценке, настройке, эффективности вывода и рабочих процессах клиентов.

Ниже приведён оригинальный текст (отредактированный для удобства чтения и понимания):

Вкратце:

Модели с открытым исходным кодом быстро догоняют модели с закрытым исходным кодом, но рост токенов не равен росту доходов, и корпоративные бюджеты по-прежнему отдают приоритет наиболее эффективным моделям.

Метод дистилляции может помочь моделям с открытым исходным кодом сократить разрыв лишь в краткосрочной перспективе; долгосрочная конкурентоспособность по-прежнему зависит от независимого обучения, данных оценки, талантов и вычислительных мощностей.

• Модернизация общих моделей больше не обязательно устраняет необходимость в вертикальных моделях. В таких областях, как юриспруденция и здравоохранение, барьеры смещаются от возможностей моделей к оценке, данным и рабочим процессам.

Ключ к переходу корпоративного ИИ от стадии проверки концепции (PoC) к внедрению в производство заключается не в увеличении количества вариантов моделей, а в создании системы оценки, способной измерять качество, стоимость и пределы отказов.

Оптимизация вывода расширилась от снижения стоимости одного токена до кэширования, разделения задач и маршрутизации моделей. Сама конструкция системы позволяет нескольким комбинациям моделей превосходить по производительности одну передовую модель.

Индивидуально разработанные модели больше подходят для вертикальных SaaS-платформ, охватывающих большое количество схожих клиентов, поскольку отдельным предприятиям обычно не хватает достаточно широкого распространения данных и возможностей непрерывной оценки.

Конкурентное преимущество Fireworks заключается не в владении графическими процессорами, а в объединении обучения, персонализации и непрерывного вывода результатов. Однако его реальными долгосрочными конкурентами по-прежнему остаются облачные гиганты, способные охватить весь технологический стек.

Широкое внедрение моделей с открытым исходным кодом не обязательно приведет к снижению спроса на оборудование; скорее всего, это снизит надбавки за уровень моделей и перераспределит отраслевую ценность в сторону вычислительных мощностей, инфраструктуры для вывода результатов и корпоративных рабочих процессов.

Основные моменты интервью

Открытый исходный код будет и дальше развиваться, но дистилляция не является долгосрочным решением.

Команда Fireworks в основном состоит из специалистов из экосистемы PyTorch компании Meta. Основываясь на своем опыте разработки операционных систем, баз данных и другого программного обеспечения, команда давно убеждена, что ценное программное обеспечение в конечном итоге получит конкурентоспособные решения с открытым исходным кодом. Более масштабная модель может развиваться по аналогичному пути, только этот этап наверстывания упущенного происходит быстрее, чем первоначально предполагал Чен Юфэй.

С одной стороны, годовой регулярный доход компаний, разрабатывающих модели с закрытым исходным кодом, таких как OpenAI и Anthropic, продолжает быстро расти; с другой стороны, модели с открытым исходным кодом в Китае и США также быстро сокращают разрыв в возможностях и снижают цены на вывод результатов. Открытый и закрытый исходный код не являются игрой с нулевой суммой, где одна сторона растет, а другая неизбежно приходит в упадок.

Что касается дистилляции некоторых моделей с открытым исходным кодом с использованием результатов моделей с закрытым исходным кодом, Чен Юфэй считает, что, хотя такой подход может помочь моделям достичь высокого уровня в краткосрочной перспективе, он вряд ли станет надежным путем в долгосрочной перспективе. Производители моделей с закрытым исходным кодом могут постепенно вносить изменения в API и механизмы безопасности, чтобы уменьшить вероятность извлечения данных и результатов вычислений.

Однако прогресс моделей с открытым исходным кодом не полностью зависит от дистилляции. Пока система оценки продолжает совершенствоваться, стоимость данных продолжает снижаться, и есть достаточное количество талантливых специалистов, графических процессоров и инженерных ресурсов, команды разработчиков моделей с открытым исходным кодом могут самостоятельно обучать конкурентоспособные модели. У таких компаний, как Meta, с их вычислительными мощностями и кадровыми резервами, нет причин сохранять огромный отрыв от передовых моделей с закрытым исходным кодом в долгосрочной перспективе.

Это не означает, что модели с закрытым исходным кодом потеряют долю рынка. Чен Юфэй сравнивает их с Apple и Android: открытые экосистемы могут обеспечить более широкое распространение, в то время как постоянно лидирующие продукты с закрытым исходным кодом могут удерживать ценных клиентов с меньшей ценовой чувствительностью, опираясь на стабильный пользовательский опыт, узнаваемость бренда и корпоративное доверие.

Закупки корпоративных клиентов, как правило, носят консервативный характер. Поговорка «Никого не увольняют за покупку IBM» точно описывает этот подход к принятию решений. Пока клиенты продолжают считать, что приобретение ведущих моделей с закрытым исходным кодом — самый безопасный вариант, такие компании, как OpenAI и Anthropic, могут сохранять определенное преимущество. По сравнению с краткосрочными технологическими разрывами, изменение восприятия пользователей и возможности выхода на рынок могут оказаться более сложными.

Чэнь Юфэй прогнозирует, что годовой доход (ARR) компаний, использующих модели с закрытым исходным кодом, будет продолжать расти, но эта цифра может не в полной мере отражать их конечные экономические выгоды. Например, часть выручки может потребоваться разделить с поставщиками облачных услуг, и увеличение ARR не обязательно приводит к пропорциональному увеличению бухгалтерской выручки и прибыли. Снизилась ли переговорная сила компаний, использующих модели с закрытым исходным кодом, можно будет определить только после того, как соответствующие компании раскроют более полную финансовую информацию.

В долгосрочной перспективе открытый исходный код может достичь более широкого распространения, в то время как закрытый исходный код продолжит контролировать спрос, стремясь к большей прибыли. Коммерческие границы между ними определяются не только возможностями моделей, но и брендом, каналами сбыта, доверием клиентов и методами распределения доходов.

Токены всё больше ориентируются на открытый исходный код, но доход по-прежнему зависит от результатов работы.

По словам Чэнь Юфэя, платформа Fireworks в настоящее время обрабатывает от 40 до 50 триллионов токенов в день. На основе общедоступной информации, которую он привел, эта цифра превышает объем трафика корпоративных API, раскрытый Gemini и OpenAI.

Основные потребности платформы связаны с программированием, здравоохранением, совместной работой и углубленными исследованиями. При этом все больше задач, которые изначально не считались задачами программирования, переосмысливаются как «задачи программирования».

Типичными примерами являются офисные программы, такие как PowerPoint и Excel. Когда модель может работать с этими программами с помощью кода или структурированных инструментов, существующие методы генерации кода, вызова инструментов и обучения с подкреплением могут быть перенесены в офисные сценарии. Многие вертикальные SaaS-компании также инкапсулируют отраслевые инструменты в среды, к которым могут обращаться модели, а затем используют обучение с подкреплением для ознакомления моделей с конкретными рабочими процессами.

Чэнь Юфэй условно делит текущие потребности на два типа: программирование и углублённые исследования. Различные вертикальные приложения будут объединять эти два типа для создания специализированных агентов для таких сценариев, как юриспруденция, здравоохранение и офисная работа.

Он особенно оптимистично настроен в отношении продуктов для совместной работы в офисе, ориентированных на нетехнических пользователей. Ранее большая часть ресурсов отрасли была инвестирована в потребности в области STEM (наука, технология, инженерия и математика), такие как математика и программирование, но потребности широкого круга специалистов, занимающихся интеллектуальным трудом, например, в создании презентаций, обработке документов и создании видеороликов, вероятно, будут расти еще быстрее.

Разработка компьютерных агентов идет медленнее, чем ожидалось ранее. Чуть больше года назад считалось, что эти продукты позволяют обходить сложные API, давая пользователям возможность напрямую взаимодействовать с компьютерами, как людям. Однако на практике компании, стремясь сократить расходы, перевели большую часть рабочих процессов на текстовый формат. Текстовые модели дешевле и проще встраиваются в существующие процессы. Хотя компьютерные агенты могут получить дальнейшее распространение по мере снижения стоимости виртуальных машин и улучшения операционных сред, конкретные пути оптимизации все еще находятся в стадии изучения.

Однако рост количества токенов не всегда напрямую отражает коммерческую ценность. На рейтинги маршрутизации публичных моделей часто влияют бесплатные квоты и рекламные акции, и одно и то же количество токенов может соответствовать совершенно разным ценам. Трафик, генерируемый недорогими моделями, и трафик, генерируемый дорогими передовыми моделями, имеют разное значение с точки зрения дохода.

Чэнь Юфэй считает, что выручка является лучшим показателем истинного выбора клиента, чем количество токенов. Когда компании не чувствительны к цене, их бюджеты все равно будут направляться на наиболее эффективные модели. Поэтому, когда Fireworks помогает клиентам настраивать модели, ее основная цель обычно состоит не в достижении «хорошей экономической эффективности», а в том, чтобы соответствовать или даже превосходить ведущие модели с закрытым исходным кодом в конкретных задачах.

На рынке программирования также наблюдается расхождение между использованием и доходами. Потребление токенов, вероятно, продолжит расти, но если цены на широко используемые модели будут продолжать снижаться, то снижение цен будет стимулировать больше запросов, но не обязательно приведет к увеличению доходов рынка. Точно так же, как повсеместный доступ к электроэнергии не означает, что вся прибыль достается компаниям, занимающимся производством электроэнергии, рост использования ИИ не может напрямую ответить на вопрос, в чем в конечном итоге заключается ценность отрасли.

В ближайшем будущем использование моделей с открытым исходным кодом может продолжать расти, но будет ли соответствующее увеличение расходов происходить параллельно, зависит от того, готовы ли предприятия инвестировать ресурсы в персонализацию. Если все больше компаний смогут использовать персонализированные модели с открытым исходным кодом для решения конкретных задач, трафик и доходы будут все больше переходить на открытый исходный код; если же затраты на персонализацию, частота сбоев и организационные возможности будут по-прежнему создавать препятствия, модели с закрытым исходным кодом по-прежнему будут удовлетворять большую часть высокоприбыльных потребностей.

Модели общего назначения повышают верхний предел возможностей, в то время как вертикальные модели накапливают барьеры для выполнения задач.

Каждый раз, когда на рынок выходит новая передовая модель, возникает новый вопрос: не потеряет ли модель, в доработку которой компании вкладывают данные и средства, свою ценность в ближайшее время?

Чэнь Юфэй заявил, что, хотя многие модели, созданные по индивидуальному заказу, действительно были заменены базовыми моделями нового поколения в 2025 году, к 2026 году эта ситуация значительно улучшилась. По его мнению, это позитивный знак того, что коммерческая ценность вертикальных моделей постепенно стабилизируется.

Причина в том, что модели общего назначения и специализированные приложения оптимизируются в разных направлениях. Передовые лаборатории должны доказать, что модели способны решать более сложные математические, научные задачи и задачи разработки лекарств; в то время как специализированные компании в таких областях, как юриспруденция и здравоохранение, сосредотачиваются на конкретных потребностях пользователей, показателях выполнения задач, точности цитирования и надежности рабочих процессов.

«Разработка эффективного агента для конкретного вертикального рынка и решение гипотезы Римана — это две совершенно разные задачи».

В качестве примера можно привести компанию Harvey, занимающуюся разработкой искусственного интеллекта для юридической сферы. Ее преимущество заключается не только в используемой базовой модели, но и в разбивке юридических задач, системе оценки, обработке данных и производственных процессах. То же самое относится и к медицинской сфере; для различных продуктов необходимо установить определенные стандарты, основанные на методах работы врачей, источниках данных и требованиях к точности.

Эти оценки и данные не становятся автоматически недействительными с выпуском новых моделей. После обновления базовой модели компании, работающие в различных отраслях, могут перенести свои существующие среды обучения на новую модель, не переосмысливая всю отрасль заново. По мере того, как оценки становятся более подробными, а процессы очистки данных — более совершенными, вертикальные модели формируют потенциал, который постоянно накапливается вокруг конкретных задач.

Теоретически, передовые компании, занимающиеся моделированием, могли бы сосредоточить свои ресурсы на выходе на юридический или медицинский рынки и превзойти существующие продукты в одной области. Однако такой подход может не соответствовать их бизнес-целям. Компаниям, занимающимся моделированием общего назначения, необходимо обслуживать широкую клиентскую базу, и значительных инвестиций в одну вертикаль может оказаться недостаточно для достижения желаемого размера рынка и оценки.

Чэнь Юфэй сравнил общую модель с сетью ресторанов, которая должна удовлетворять широкий спектр вкусов, в то время как вертикальная модель больше похожа на ресторан, специализирующийся на нескольких блюдах. Последняя не обязательно должна решать все проблемы; если она значительно превосходит общее решение в решении целевой задачи, она потенциально может создать независимое платное пространство.

Эта несбалансированная, но при этом узкоспециализированная способность называется им «зубчатым интеллектом». Юридическая модель может быть неспособна решить гипотезу Римана, но она может превзойти более крупные модели общего назначения в определенных типах юридических задач. Для корпоративных клиентов способность надежно выполнить задачу часто важнее, чем более широкие возможности модели.

Индивидуально разработанные модели подходят не для всех предприятий. Чен Юфэй считает, что наиболее подходящими клиентами являются вертикальные SaaS-компании, обслуживающие большое количество аналогичных учреждений, а не отдельные больницы, юридические фирмы или компании-конечные пользователи.

Вертикальные SaaS-платформы позволяют охватить большое количество клиентов, понять общие потребности различных организаций и создать системы оценки, охватывающие больше ситуаций. Отдельным предприятиям обычно не хватает достаточно широкого распространения данных и возможностей непрерывной оценки. Вместо самостоятельного обучения моделей лучше закрепить внутренние процессы в виде навыков, инструментов или агентов, а затем использовать внешние базовые модели для выполнения задач.

В проектах по обучению с подкреплением, выполняемых на заказ, основным фактором затрат являются графические процессоры, но данные и среда обучения имеют не меньшее значение. Командам необходимо проверять наличие хаков с системой вознаграждения — то есть, использовать уязвимости в оценке для получения высоких баллов без фактического выполнения задачи — одновременно обеспечивая стабильную среду обучения, способную масштабировать процесс обучения.

Начальная среда обучения не обязательно должна содержать сотни тысяч траекторий. Чен Юфэй заявил, что тысячи сред обучения достаточно для запуска обучения с подкреплением, поскольку модель многократно исследует и генерирует большое количество траекторий в процессе обучения. Предполагая, что каждый шаг обучения выполняется 128 раз в одной среде, тысяча начальных точек данных может сгенерировать приблизительно 128 000 обучающих траекторий.

Индивидуально настроенные модели все еще нуждаются в «доработке» после развертывания. Когда выпускается новая базовая модель с открытым исходным кодом, платформа может перенести исходную систему обучения и оценки на новую модель. Пока критерии оценки и среда выполнения задач остаются неизменными, сама миграция не обязательно занимает много времени; настоящая постоянная рабочая нагрузка возникает, когда клиенты добавляют новые сценарии, рабочие процессы и более сложные задачи.

Таким образом, ключевыми активами вертикально интегрированной компании являются не весовые коэффициенты определенного поколения моделей, а данные, оценки и рабочие процессы, которые можно многократно переносить по мере обновления базовой модели.

Искусственный интеллект для предприятий застрял на этапе проверки концепции (Proof-of-Concept, PoC) не потому, что у него отсутствует модель, а потому, что ему не хватает оценки.

При выборе между моделями с открытым и закрытым исходным кодом компании в первую очередь учитывают не только производительность и цену, но и доверие.

Поскольку корпоративные контракты обычно заключаются на один-два года, покупателям необходимо оценить, сможет ли поставщик услуг и его экосистема удовлетворять потребности бизнеса в долгосрочной перспективе. Модели с открытым исходным кодом могут быть дешевле и гибче, но поставщики с закрытым исходным кодом по-прежнему имеют преимущество в плане продвижения бренда, историй успеха и узнаваемости на рынке.

Чэнь Юфэй считает, что наиболее существенным недостатком моделей с открытым исходным кодом и их поставщиков услуг является не технология, а способность выйти на рынок. Компании, работающие по модели с закрытым исходным кодом, могут постоянно повышать осведомленность пользователей посредством демонстрации новых возможностей и результатов исследований, в то время как экосистема с открытым исходным кодом испытывает недостаток в единой системе маркетинга и коммуникации с клиентами.

Методы развертывания также меняются. На ранних этапах предприятия больше ориентировались на развертывание в локальной среде, но сейчас все больше рабочих нагрузок перемещается в облако. Пока поставщики услуг могут обеспечить доверие в таких областях, как безопасность и виртуальные частные облака, многопользовательские облачные сервисы, как правило, более экономически выгодны для предприятий, чем выделенные графические процессоры.

Отдельное предприятие может быть не в состоянии поддерживать высокий уровень загрузки группы графических процессоров, но платформа может объединить потребности различных клиентов и повысить эффективность использования оборудования. По мере роста затрат на выполнение вычислений в процентах от операционных расходов предприятия преимущества общей инфраструктуры с точки зрения затрат становятся все более очевидными.

Одно из главных препятствий для компаний на пути от проверки концепции к производству — отсутствие строгой оценки. Даже когда компании уже применяют ИИ в важных областях, таких как колл-центры, они по-прежнему оценивают эффективность своих моделей методом проб и ошибок, а не путем установления стандартов тестирования, которые можно многократно применять.

Без оценки компании не могут надежно сравнивать модели с открытым и закрытым исходным кодом, а также определить, действительно ли обновления моделей улучшают их бизнес. Поэтому Чен Юфэй считает, что специалистов, способных разрабатывать системы оценки ИИ, по-прежнему мало. Надежная система оценки могла бы помочь компаниям завершить замену моделей и сэкономить в долгосрочной перспективе средства, значительно превышающие первоначальные затраты на ее создание.

Это принципиально не отличается от модульного тестирования в традиционных компаниях-разработчиках программного обеспечения. В прошлом SaaS-компаниям приходилось проводить набор тестов перед выпуском программного обеспечения; теперь же компаниям, занимающимся вертикальным ИИ, необходимо разработать набор оценочных инструментов, чтобы подтвердить соответствие агента соответствующим стандартам, прежде чем запускать его в производство. Фокус работы в отрасли смещается от частичного «написания тестов» к «написанию оценочных инструментов», но суть по-прежнему заключается в преобразовании качества продукта в измеримые и накапливаемые организационные возможности.

Развитие сторонних компаний, занимающихся обработкой данных, также может служить индикатором внедрения ИИ на предприятиях. Если их клиенты по-прежнему сосредоточены в нескольких передовых лабораториях, это указывает на то, что возможности обычных предприятий по созданию собственных независимых ИИ-компаний все еще ограничены; если же источники дохода постепенно диверсифицируются, это может означать, что все больше предприятий начинают приобретать данные, создавать системы оценки и обучать собственные модели.

Предприятиям на самом деле не хватает не больше моделей, а набора стандартов, которые могли бы определить, что правильно, выявить ошибки и поддержать решения о закупках.

Оптимизация вывода смещается от снижения затрат на токены к планированию работы системы.

Основной бизнес Fireworks — оптимизация инференции. Чен Юфей считает, что в этой области еще есть значительный потенциал для улучшения, поскольку производительность модели на момент ее выпуска часто существенно отличается от ее производительности после длительной оптимизации.

Цель платформы — сократить цикл оптимизации, гарантируя, что новые модели будут максимально приближены к своему оптимальному состоянию при развертывании. Помимо самого времени выполнения модели, на конечную стоимость влияют кэширование, планирование и вспомогательная инфраструктура. Многие оптимизации включают в себя большой объем разрозненной инженерной работы, что делает оптимизацию вывода трудоемкой задачей.

В отличие от собственных API, предоставляемых разработчиками моделей, Fireworks одновременно обслуживает большое количество базовых и пользовательских моделей, что позволяет отслеживать более разнообразные модели трафика и нагрузки. Поставщики моделей должны сначала убедиться, что их модели стабильно предоставляются широкому кругу пользователей, в то время как сторонние платформы могут выполнять более детальную оптимизацию с учетом специфических характеристик запросов конкретных клиентов.

Маршрутизация моделей — это не только снижение затрат. В совместном эксперименте Fireworks и Harvey система использовала одну модель в качестве исполнителя задач, а другую — в качестве советника, разбивая длинные контекстные задачи на несколько более коротких подзадач. Поскольку производительность большой модели может снижаться по мере увеличения длины контекста, при правильном разделении труда общая производительность системы может фактически превзойти производительность системы, использующей только самую сильную модель.

Чэнь Юфэй сравнил этот процесс с оптимизацией производительности процессора. Разработчикам необходимо понимать характеристики процессора, а затем разбить программу на рабочие нагрузки, подходящие для этого процессора. Аналогично, в системах искусственного интеллекта базовую модель можно рассматривать как текстовый процессор: команде необходимо сначала понять ограничения возможностей различных моделей, затем разработать структуру задач и, наконец, разместить соответствующую модель в соответствующем месте.

Оптимизация аппаратного обеспечения не может быть достигнута путем анализа отдельных показателей, таких как GPU, HBM, CPU и сеть. Как правило, при первоначальном обучении модели проектируются с учетом соотношения вычислительных ресурсов и памяти существующего оборудования. Поэтому перенос модели с графического процессора NVIDIA на аналогичный по производительности графический процессор AMD относительно прост, в то время как перенос на ASIC с другой архитектурой может потребовать значительных усилий.

Успех нового аппаратного обеспечения зависит не только от того, насколько его характеристики схожи с характеристиками Nvidia, но и от масштабов поставок, программной экосистемы и того, смогут ли экономические стимулы побудить разработчиков оптимизировать свои модели под него. Даже если конфигурация оборудования схожа с Nvidia, будет сложно создать экосистему, если разработчики не смогут получить достаточную отдачу от его использования.

В конечном счете, оптимизация платформы для вывода результатов заключается не только в скорости работы модели, но и в соответствии модели, задачи и оборудования.

Компания Fireworks не владеет оборудованием, но обеспечивает связь между обучением и выводом результатов.

В ответ на расширение присутствия поставщиков облачных услуг в сфере ИИ на программном уровне, Fireworks в настоящее время не планирует создавать собственное оборудование или вкладывать значительные средства в графические процессоры. Чен Юфэй описывает модель компании как более близкую к модели «арендодателя»: приобретение вычислительных мощностей у поставщиков инфраструктуры и сосредоточение внимания на программном обеспечении для вычислений, услугах вывода и настройке моделей.

Отличие Fireworks от типичных облачных платформ для ИИ заключается в том, что большая часть трафика на платформе поступает не от неизмененных базовых моделей, а от пользовательских моделей. Чен Юфей считает, что конкуренция в области вывода базовых моделей будет становиться все более жесткой, и прибыль, скорее всего, будет поступать от собственных моделей, способных обеспечить лучшие результаты для клиентов.

Fireworks объединяет обучение и вывод результатов в единый бизнес. Компания помогает клиентам обучать модели и стремится к устойчивому росту трафика, связанного с выводом результатов, после запуска моделей в эксплуатацию. По сравнению с поставщиками услуг, которые взимают только плату за обучение или консультации, такая структура доходов более эффективно согласует долгосрочные выгоды для платформы и ее клиентов: по мере того, как клиенты получают больше ценности от своих моделей, Fireworks может получать больше дохода от непрерывного вывода результатов.

Некоторые поставщики услуг обучения с подкреплением предлагают только обучение или консультации, и их доход может быть не напрямую связан с эффективностью модели после ее развертывания. Бизнес-логика Fireworks заключается в улучшении производительности модели посредством обучения, а затем в получении выгоды от последующего трафика при выполнении инференции. Компания не продает разовые проекты обучения, а скорее возможность обеспечить непрерывное использование моделей клиентов.

Реальными конкурентами, способными охватить всю цепочку, являются не отдельные новые облачные компании, а крупные поставщики облачных услуг, такие как AWS, Microsoft Azure и Google Cloud. Они обладают как вычислительными мощностями, так и возможностью создавать сервисы обучения с подкреплением, платформы для вывода результатов и инструменты разработки.

Fireworks конкурирует с облачными провайдерами, одновременно полагаясь на их инфраструктуру и сотрудничая с ней. В настоящее время компания имеет наиболее тесное партнерство с Azure, что позволяет клиентам приобретать услуги Fireworks, используя кредиты Azure. Она также сотрудничает с AWS и Google Cloud.

Чэнь Юфэй считает, что текущие возможности Fireworks по оптимизации вывода по-прежнему превосходят аналогичные сервисы от облачных провайдеров, но производительность в одной точке не является самым существенным препятствием. Что еще важнее, он завершает весь цикл работы машинного обучения — от обучения и развертывания до оценки и вывода, обеспечивая разработчикам бесперебойную работу. По сравнению с новыми облачными компаниями, Fireworks охватывает более длинную цепочку; по сравнению с облачными гигантами ему необходимо поддерживать свои преимущества в специализации и скорости выполнения.

Даже если в будущем ИИ сможет автоматизировать разработку ядра, вывод результатов и оптимизацию после обучения, понимание потребностей клиентов, вероятно, останется задачей, которую будет сложно полностью заменить. Система может решать сложные математические задачи, но она не сможет понять процессы, ограничения и критерии оценки компании из ничего. Долгосрочная ценность Fireworks в конечном итоге зависит от ее способности преобразовывать потребности клиентов в модели, оценки и работоспособные продукты.

Преимущество моделей сжатия с открытым исходным кодом по-прежнему зависит от вычислительной мощности, которая является основным ограничивающим фактором.

В течение следующих одного-двух лет главной проблемой для Fireworks останется вычислительная мощность. Способность компании приобретать достаточное количество вычислительных ресурсов по разумной цене будет напрямую ограничивать рост выручки. Чен Юфэй характеризует текущую ситуацию Fireworks как «ограниченную вычислительной мощностью» и прогнозирует, что рынок в целом, вероятно, сохранит это состояние как минимум в течение следующего года.

Это также повлияло на его мнение о капитальных затратах технологических гигантов на ИИ. Рынок обычно оценивает, не переинвестируют ли такие компании, как Google и Meta, исходя из рентабельности инвестиций; но для этих компаний может существовать и другой, более высокий риск: если ИИ в конечном итоге принесет чрезвычайно высокую прибыль, а они пропустят этот раунд конкуренции из-за сокращения инвестиций, они могут навсегда потерять свои позиции на рынке.

Таким образом, даже при краткосрочных чрезмерных инвестициях издержки могут заключаться лишь в давлении на финансовую отчетность и необходимости учета амортизации в течение следующих нескольких лет. Для технологических гигантов с долгосрочным денежным потоком и возможностями финансирования это, как правило, не представляет угрозы для выживания; однако упущенная возможность участия в ключевых технологических циклах может стать таковой.

Для новых облачных компаний ситуация иная. Им необходимо более тщательно рассчитывать доходность проектов, затраты на финансирование и сроки окупаемости. Чен Юфэй предлагает обращать внимание на рейтинги облигаций, продление сроков проектов и возможности рефинансирования соответствующих компаний. Если какой-либо участник не сможет продолжать заимствования из-за проблем с кредитоспособностью и ему потребуется реструктуризация долгов в течение следующих 3-6 месяцев, ключевым показателем финансовых возможностей инфраструктуры ИИ станет наличие на рынке средств, готовых взять на себя финансирование.

Чэнь Юфэй скептически относится к рыночному утверждению о том, что «догоняющее развитие моделей с открытым исходным кодом по сравнению с моделями с закрытым исходным кодом приведет к снижению спроса на оборудование». По его мнению, улучшение возможностей моделей с открытым исходным кодом в первую очередь ослабляет ценовую власть уровня модели. Если общие расходы на ИИ останутся неизменными, ценность может фактически переключиться на компании, предоставляющие вычислительные мощности и инфраструктуру.

Однако вопрос о том, принесут ли капиталовложения в ИИ в конечном итоге достаточную отдачу, остается открытым. Проекты по увеличению вычислительной мощности часто окупаются за несколько лет, а динамику спроса и предложения через год предсказать сложно. На данный момент достаточно четкий сигнал заключается в том, что как Fireworks, так и многие ее клиенты по-прежнему нуждаются в увеличении вычислительной мощности.

Конкуренция между моделями с открытым и закрытым исходным кодом будет определяться не только рейтингом моделей. По мере сокращения разрыва в возможностях, ценность отрасли будет в большей степени зависеть от того, кто сможет определять задачи, проверять эффективность и внедрять модели в производство с приемлемыми затратами.