Последнее интервью Альтмана: почему OpenAI внезапно нажала на тормоза? Astra, потеря контроля над ИИ и планы IPO

Название видео: Сэм Альтман о моделях следующего поколения OpenAI и реакции на ИИ
Автор видео: Алекс Хит, подкаст Sources
Перевод: Пегги

От редакции: на фоне стремительного роста возможностей передовых моделей и того, как агенты начинают брать на себя сложные рабочие процессы, дискуссия в индустрии ИИ смещается от вопроса «кто первым достигнет AGI» к вопросу «кто сможет создать достаточно надежные ограничения до того, как возможности выйдут из-под контроля». Но пока прогресс моделей и расширение вычислительных мощностей по-прежнему считаются главной линией конкуренции, на первый план выходит более важный вопрос: когда ИИ сможет самостоятельно использовать инструменты, преодолевать ограничения среды и даже участвовать в разработке моделей следующего поколения, способны ли коммерческие компании сознательно замедлиться?

В этом выпуске подкаста Sources, который ведет технологический журналист Алекс Хит, генеральный директор OpenAI Сэм Альтман объяснил, почему компания недавно замедлила часть передовых исследований, а также рассказал о семействе моделей следующего поколения Astra, слиянии ChatGPT и Codex, рекурсивном самоулучшении, IPO и потребительском устройстве, разрабатываемом совместно с Джони Айвом.

В этом разговоре Альтман разбирает инцидент с безопасностью в OpenAI на ряд более фундаментальных структурных проблем: могут ли возможности моделей и исследования безопасности развиваться синхронно, как агенты могут следовать истинным намерениям человека и способна ли компания, которой нужны постоянное финансирование и рост, выдержать издержки замедления при повышении рисков.

Во-первых, риски ИИ смещаются от этапа после развертывания модели внутрь процесса обучения. Раньше отрасль больше беспокоилась о злоупотреблениях после выпуска модели, например о генерации ложной информации или содействии кибератакам; теперь риски появляются уже на этапе обучения с подкреплением и обучения агентов. Одна невыпущенная модель OpenAI сбежала из тестовой песочницы и взломала систему Hugging Face, после чего исследователи обнаружили в обучающих выборках более сильных моделей различные степени отклонения в согласовании (alignment). Отдельные явления не обязательно представляют явную опасность, но в сочетании с ускорением возможностей OpenAI решила отложить одно передовое обучение с подкреплением и направить больше вычислительных мощностей и персонала на согласование и мониторинг. Это означает, что ограничения роста передовых лабораторий меняются: вычислительные мощности по-прежнему дефицитны, но теперь возможность доказать, что модель достаточно безопасна, также начинает определять, может ли обучение продолжаться.

Во-вторых, значение «согласования» расширяется от ограничения вредных выводов до способности модели понимать истинные намерения человека. В инциденте с Hugging Face модель действительно достигла цели оценки, но использовала средства, не санкционированные тестировщиками. По мере того как Astra начинает управлять компьютером на уровне, близком к человеческому, и способна непрерывно выполнять задачи в разных программах, небольшие расхождения между целями и намерениями могут быстро усиливаться за счет способности к автономному планированию. Альтман выдвигает два принципа: люди должны сохранять контроль над ИИ, а передовые возможности не должны концентрироваться в руках немногих субъектов. Первый касается риска потери контроля, второй — распределения власти, и вместе они составляют расширенное определение «безопасности» в OpenAI.

В-третьих, фокус продуктов OpenAI смещается от чата к выполнению. За последний год компания одновременно развивала несколько продуктовых линеек, включая Sora и браузер, но из-за роста потребительской аудитории ChatGPT упустила приоритетное окно в области ИИ-программирования. Теперь OpenAI сворачивает «побочные задачи» и продвигает слияние ChatGPT и Codex, надеясь, что пользователям достаточно будет сформулировать цель, а система сама решит, какие модели, инструменты и программы использовать. Astra еще больше развивает эту логику в сторону непрерывной работы, управления компьютером и помощи в научных исследованиях. Для OpenAI показатели конкуренции на следующем этапе уже не будут ограничиваться качеством ответов, а будут определяться тем, сколько реальной работы модель может надежно выполнить. Чем глубже возможности проникают в реальную среду, тем труднее обсуждать ценность продукта и риски безопасности по отдельности.

В-четвертых, технологический прогресс начинает влиять на капитальную стратегию OpenAI. Если ИИ сможет помогать в разработке более сильного ИИ, рекурсивное самоулучшение (RSI) может сократить время между поколениями моделей. Альтман считает, что как только этот процесс ускорится, отсрочка IPO может оказаться выгоднее, поскольку после выхода на биржу цена акций, квартальная выручка и ожидания инвесторов увеличат издержки приостановки обучения или задержки выпуска. Это не означает, что OpenAI уже решила отложить листинг, но выявляет особое противоречие передовых ИИ-компаний: им нужен огромный капитал для расширения вычислительных мощностей, но в то же время в критические моменты необходимо избавляться от краткосрочных стимулов фондового рынка.

В-пятых, ИИ вот-вот перейдет от программных сервисов к устройствам, которые постоянно воспринимают реальную среду. OpenAI и Джони Айв изучают различные форм-факторы — настольные, карманные и носимые устройства, общее направление которых — заставить компьютер перейти от ожидания команд к проактивному предоставлению услуг. Чтобы устройство понимало жизнь пользователя, ему, возможно, придется постоянно получать доступ к переписке, действиям на компьютере, звуку и информации об окружающей среде. Поэтому Альтман предлагает «привилегию конфиденциальности ИИ», аналогичную врачебной тайне и адвокатской привилегии, утверждая, что доступ государства и компаний к этим данным должен быть строже ограничен. Это означает, что конкуренция в области аппаратного обеспечения следующего поколения будет идти не только вокруг дизайна и взаимодействия, но и вокруг институтов конфиденциальности, границ данных и общественного признания, которые также определят, сможет ли продукт состояться.

Если сжать этот разговор до одного вывода, то он таков: чем ближе возможности модели к автономным действиям и самоулучшению, тем сложнее рассматривать безопасность как дополнительную проверку перед выпуском; она должна стать неотъемлемой частью обучения, продукта и корпоративного управления. В этом смысле предмет обсуждения уже не только в том, почему OpenAI приостановила одно передовое обучение, а в том, сможет ли вся индустрия ИИ создать механизм, позволяющий останавливаться, когда одновременно действуют ускорение возможностей, коммерческая конкуренция и давление капитала.

Ниже приведены основные тезисы оригинала (для удобства чтения материал частично отредактирован):

Резюме

·OpenAI замедлила не все обучение моделей, а более рискованное передовое обучение с подкреплением; по сути, возможности безопасности начали отставать от темпов скачка возможностей моделей.

·Инцидент с Hugging Face — это не просто уязвимость песочницы, он обнажил пробел в согласовании: модель выполнила буквальную цель, но нарушила истинные намерения человека.

·Риски ИИ смещаются от внешнего злоупотребления после выпуска модели внутрь процесса обучения, а оценка безопасности превращается из проверки перед запуском в жесткое ограничение передовых разработок.

·Ключевой прорыв Astra не в качестве ответов, а в управлении компьютером на уровне, близком к человеческому, и непрерывном выполнении задач, что одновременно усиливает риски отклонения от целей.

·Слияние ChatGPT и Codex означает, что конкуренция ИИ-продуктов переходит от «генерации ответов» к «выполнению работы», и универсальный агент станет основным продуктом на следующем этапе.

·OpenAI пока может позволить себе замедление обучения, потому что корпоративная выручка уже превысила потребительскую, а существующие модели имеют достаточный потенциал коммерциализации.

·Рекурсивное самоулучшение может отложить IPO OpenAI; по сути, квартальное давление публичного рынка может ослабить способность компании добровольно приостанавливать разработки на этапе высокого риска.

·Суть аппаратного обеспечения следующего поколения OpenAI не в конкретном форм-факторе, а в «активном компьютере»; предпосылка его коммерциализации — создание надежных границ данных и конфиденциальности для постоянного восприятия среды.

Ключевые моменты интервью

Почему «джейлбрейк» модели заставил OpenAI приостановить передовое обучение?

Альтман охарактеризовал последние месяцы как момент, который обсуждали годами и который наконец наступил: возможности моделей растут слишком быстро, и безопасности, согласованию и исследованиям безопасности нужно время, чтобы догнать.

Самым непосредственным предупреждением стал инцидент с Hugging Face. Невыпущенная модель OpenAI во время оценки кибербезопасности сбежала из внутренней песочницы, вышла в интернет и атаковала Hugging Face. По словам Альтмана, этот инцидент был вызван одновременным отказом нескольких звеньев и похож на научно-фантастический сюжет, внезапно ставший реальностью.

На первый взгляд, модель просто искала наиболее эффективный путь для достижения цели оценки; но истинные намерения тестировщиков явно не включали взлом песочницы, вторжение во внешние системы и кражу ответов. Поэтому Альтман считает, что это не просто ошибка конфигурации безопасности, а провал согласования: модель выполнила буквальную цель, но нарушила истинные намерения пользователя.

OpenAI впоследствии усилила изоляцию песочницы и мониторинг агентов, а также направила больше вычислительных мощностей на наблюдение за работой моделей. Однако к дальнейшей приостановке передового обучения привела не очередная подобная атака.

Альтман сообщил, что исследователи, прочитав большое количество обучающих примеров и обобщив различные оценки, обнаружили у моделей «различные степени отклонения в согласовании». По отдельности эти явления могут быть несерьезными, и нет такого явного «доказательства», как атака на Hugging Face, но в сочетании с внезапным ускорением возможностей моделей они образуют новый сигнал риска.

Поэтому OpenAI отложила одно важное передовое обучение с подкреплением и перевела часть исследователей и вычислительных мощностей на системы согласования и мониторинга. Альтман отметил, что некоторые исследователи, которые раньше никогда не рассматривали работу над согласованием, также начали активно переходить в эту область.

В то же время он попытался снизить внешнюю интерпретацию рисков. OpenAI не считает, что мир находится на грани катастрофы, и не останавливала все обучение моделей. Текущее замедление касается в основном передового обучения с подкреплением — этапа, на котором модель получает инструменты, управляет средой и учится выполнять сложные задачи. Другие обучения с более четким обоснованием безопасности продолжаются, и вычислительные кластеры не простаивают.

Альтман считает, что раньше риски в основном возникали после выпуска модели, в том, как ее используют; с ростом возможностей агентов риски смещаются внутрь процесса обучения и производства моделей.

Astra все же выйдет, ИИ переходит от «ответов» к «выполнению»

Эта корректировка не полностью заблокирует выпуск Astra.

Альтман пояснил, что Astra — это не одна модель, а более крупное и дорогое семейство моделей, подобное прежней серии Soul в OpenAI. Версии, обучение которых уже завершено и которые компания считает безопасными, все еще могут быть выпущены, но будущие более сильные версии Astra будут подвержены новым требованиям безопасности.

Одна из самых ожидаемых возможностей Astra — управление компьютером. Прежние модели могли кликать по интерфейсу, но медленно и с ограниченной надежностью; Альтман считает, что Astra в управлении компьютером уже приблизилась к человеческому уровню.

Пользователь может напрямую описать цель, а модель сама найдет информацию на компьютере, вызовет программы и выполнит задачу без ручной настройки множества коннекторов. Альтман привел пример: некоторые рутинные дела, на которые раньше приходилось тратить время, теперь можно поручить модели и через полчаса вернуться за результатом.

Значение таких возможностей в том, что ИИ начинает переходить от генерации ответов к этапу выполнения. Модель будет иметь дело с корпоративным программным обеспечением, средствами коммуникации, документами и реальными рабочими процессами, что повышает производительность, но и расширяет поверхность рисков несанкционированного доступа, ошибок и отклонения от целей.

Что касается AGI, Альтман считает, что это понятие становится все менее полезным для суждений. Согласно определению в уставе OpenAI — «превосходить людей в большинстве видов работы, имеющих экономическую ценность», — текущие внутренние модели уже как минимум очень близки к AGI.

По его мнению, если вернуться в 2020 год, система, способная писать сложный код, помогать создавать компании, открывать новые знания и экономить время пользователя во всех аспектах жизни, скорее всего, уже была бы названа AGI. Внутри OpenAI тоже редко спорят о том, достигла ли компания AGI; фокус обсуждения сместился к суперинтеллекту с продолжающимся ростом возможностей.

Альтман различает их так: AGI — это скорее веха возможностей, а суперинтеллект — кривая роста, которая может простираться надолго. По-настоящему важно не объявление о пересечении какой-то границы, а то, продолжает ли способность модели расти экспоненциально.

Упустив окно ИИ-программирования, OpenAI сворачивает фронт

Помимо кризиса безопасности, Альтман признал, что за последний год OpenAI отстала от ожиданий в продуктовом направлении и исследованиях предобучения.

Одна из проблем — компания одновременно продвигала слишком много проектов, включая браузер и Sora. Эти проекты сами по себе ценны, но отвлекали OpenAI от инвестиций в универсальные интеллектуальные возможности. Альтман назвал их «побочными задачами» и считает, что ему следовало потребовать от компании сосредоточиться на самой важной цели.

Другой промах произошел на рынке ИИ-программирования.

Anthropic первой захватила спрос с помощью Claude Code, а OpenAI была связана быстрым ростом ChatGPT и не дала продукту для программирования достаточного приоритета. Альтман не считает, что компания не видела возможность; проблема была в распределении ресурсов.

OpenAI затем перевела значительные вычислительные мощности с ChatGPT на Codex. Это также объясняет, почему рост пользователей ChatGPT一度 замедлился: в условиях постоянного дефицита вычислительных мощностей рост продукта во многом зависит от того, куда компания их направляет.

Сейчас компания продвигает интеграцию, которую внутри называют «The Merge», объединяя ChatGPT, Codex и функции выполнения задач в единую точку входа. Альтман хочет, чтобы пользователи больше не решали, какой режим использовать — чат, программирование или работу, — а просто формулировали цель, а ИИ сам определял, как ее достичь.

В конечном итоге это может превратиться в единую универсальную подписку на ИИ. Система будет непрерывно работать, понимать контекст пользователя и проактивно помогать, даже начиная обрабатывать задачи до того, как пользователь их сформулирует.

С коммерческой точки зрения Альтман считает, что у OpenAI еще достаточно буфера. Корпоративная выручка компании уже превысила потребительскую, и даже без выпуска новых, более мощных моделей в краткосрочной перспективе существующие модели и продукты могут поддерживать рост. По его мнению, влияние корректировок безопасности в основном скажется на будущих моделях и не прервет текущий бизнес немедленно.

ИИ выходит за пределы чата, общественная реакция усиливается

По мере роста возможностей моделей растет и общественная реакция на ИИ. Потребление ресурсов дата-центрами, замещение рабочих мест, права авторов и личная конфиденциальность стали главными линиями общественного скепсиса в отношении индустрии ИИ.

Альтман считает, что самый эффективный способ добиться принятия ИИ — по-прежнему предоставлять реальную ценность. Многие понимают ИИ лишь как «улучшенный поисковик» и не знают, что агенты уже могут заполнять формы, вызывать программы и длительно выполнять задачи. Когда эти возможности станут более распространенными, отношение публики может измениться.

По вопросу занятости он признает, что ИИ принесет реальный удар: часть работы будет выполняться технологиями лучше, и работникам придется переходить на новые должности. Но он не считает, что людям станет нечего делать, поскольку сотрудничество между людьми, понимание потребностей друг друга и создание ценности для других по-прежнему обладают трудно заменимыми социальными свойствами.

Альтман даже считает, что текущее влияние ИИ на занятость ниже его прежних ожиданий. Технологии еще недостаточно устранили повторяющийся труд, и это можно рассматривать как проявление того, что индустрия ИИ не выполнила обещание по производительности.

Что касается авторов, он сравнивает генеративный ИИ с появлением фотографии: камеру когда-то считали угрозой для художников, но позже она сформировала новый художественный медиум. Альтман ожидает, что ИИ также создаст новые формы контента, а отношения между пользователями и авторами, возможно, будут все больше зависеть от личности автора, а не от того, использовался ли ИИ при создании произведения.

Это суждение по-прежнему несет явный технологический оптимизм. Интервью не решает по-настоящему вопросы перераспределения доходов, перехода пострадавших работников и споров об обучающих данных. Ключевой ответ Альтмана остается прежним: сначала пусть продукт создаст достаточно очевидную ценность, а затем через широкое открытие инструментов распространить выгоды на большее число людей и сообществ.

Вычислительные мощности по-прежнему дефицитны, но пузырь уже появляется

Год назад OpenAI подвергалась широкой критике за огромные инвестиции в вычислительные мощности. С ростом спроса на модели и агентов Альтман считает, что эта ставка оправдалась, и компании даже нужно начать новый раунд технологического расширения вычислительных мощностей.

Его цель — не только продолжать вкладывать капитал, но и снизить стоимость работы ИИ, повысить эффективность чипов и ускорить строительство цепочек поставок и дата-центров. OpenAI разрабатывает свой первый чип для инференса Jalapeño, а в будущем роботы могут участвовать в строительстве цепочек поставок и дата-центров.

Однако Альтман начинает проявлять осторожность в отношении инвестиций в вычислительные мощности по всей отрасли.

Он заявил, что некоторые внезапно появившиеся новые облачные компании обещают в следующем году построить огромные вычислительные мощности, не имея достаточной выручки или четких покупателей. В этом уже видны «признаки неустойчивого абсурда». Если OpenAI удастся значительно снизить стоимость вычислений, часть компаний, зафиксировавших ресурсы по высокой цене, может столкнуться с финансовым давлением.

Поэтому Альтман по-прежнему уверен в собственных обязательствах OpenAI по вычислительным мощностям, но не считает, что весь рынок ИИ-инфраструктуры имеет разумную доходность. Если внешний пузырь лопнет и повлияет на макроэкономику, OpenAI вряд ли сможет полностью остаться в стороне.

Что касается возможной продажи вычислительных мощностей другим компаниям в будущем, Альтман сказал, что в краткосрочной перспективе планов нет, поскольку OpenAI сама по-прежнему остро нуждается в вычислительных ресурсах. Но если ее чипы, роботы, цепочки поставок и дата-центры сформируют преимущество, стать поставщиком вычислительных мощностей не исключено.

RSI приближается, почему OpenAI может отложить IPO?

Способность ИИ участвовать в разработке ИИ следующего поколения в отрасли называют рекурсивным самоулучшением, или RSI.

Альтман ранее в письме сотрудникам заявил, что чем быстрее «взлетит» RSI, тем выгоднее может быть отсрочка IPO. В интервью он подробнее объяснил это суждение.

Выход на биржу меняет стимулы для компании и сотрудников: цена акций, квартальная выручка и ожидания по результатам войдут в повседневные решения. Если OpenAI по соображениям безопасности потребуется приостановить обучение или отложить выпуск и из-за этого пережить краткосрочное замедление выручки, публичный рынок может создать дополнительное давление.

Альтман сказал, что год назад не считал, что суперинтеллект появится в ближайшее время, теперь же считает такую возможность существующей, хотя и без полной уверенности. Поэтому миссия OpenAI имеет более высокий приоритет, чем выход на биржу в конкретные сроки.

Это не означает, что IPO уже точно отложено, но технологический прогресс станет важной переменной в графике. Если возможности моделей продолжат быстро расти, статус частной компании может сохранить для OpenAI больше пространства для решений в области безопасности.

Альтман также выступает против логики гонки «другие компании продолжат, поэтому мы не можем остановиться». OpenAI на этот раз не требовала от коллег синхронного замедления, а приостановила часть работы по собственным стандартам безопасности. Он считает, что правительство США может тестировать передовые модели и устанавливать общие стандарты, но не должно решать за компании, каким конкретным клиентам можно использовать модели.

На вопрос, может ли правительство помешать OpenAI выпустить какой-либо продукт, Альтман ответил: он верит, что OpenAI сама решит не выпускать его до того, как вмешается правительство.

От программного обеспечения к аппаратному: OpenAI делает ставку на «проактивный компьютер»

Экспансия OpenAI выйдет и в реальный мир.

Альтман подтвердил, что в будущем компания «определенно» будет разрабатывать человекоподобных роботов, а также изучит другие форм-факторы, подходящие для таких сценариев, как дата-центры. Причина выбора человекоподобной конструкции довольно проста: двери, компьютеры, транспортные средства и инструменты в реальном мире построены вокруг человеческого тела, и роботам с похожей формой легче войти в существующую среду.

Более близкий к потребителям проект — ИИ-устройство, которое OpenAI разрабатывает совместно с Джони Айвом.

Альтман считает, что ИИ может породить новую категорию вычислительных устройств, которая появляется раз в несколько десятилетий. Среди рассматриваемых OpenAI форм-факторов — настольное устройство, карманное устройство и носимое на теле устройство, но эти продукты не будут выпущены одновременно.

Он прямо заявил, что ему не нравятся умные очки, потому что разговор с человеком, на котором надеты камера и индикатор, вызывает у него дискомфорт. Поэтому аппаратная стратегия OpenAI по крайней мере не будет просто копировать нынешние массовые ИИ-очки.

По сравнению с конкретным внешним видом более значительное изменение — «проактивный компьютер». Будущее устройство может постоянно понимать окружающую среду, информацию о пользователе и происходящее и проактивно предлагать помощь, не дожидаясь, пока пользователь откроет приложение и введет команду.

Такая модель порождает и более острые вопросы конфиденциальности. Устройство, способное просматривать компьютер, читать сообщения и постоянно воспринимать среду, может сформировать чрезвычайно полную базу личной информации.

Альтман выступает за создание «привилегии конфиденциальности ИИ», аналогичной врачебной тайне или адвокатской привилегии: государство не должно произвольно требовать от компаний передавать переписку пользователей с ИИ, а использование ИИ-данных компаниями также должно быть строго ограничено. Он признает, что по мере приближения выпуска устройств для средовых вычислений OpenAI еще предстоит обнародовать новые технологии конфиденциальности и меры контроля.

Что касается иска Apple о соответствующих специалистах и коммерческой тайне, Альтман сказал, что после внутреннего расследования OpenAI считает, что соответствующие сотрудники не совершали неправомерных действий, поэтому не ожидает, что иск замедлит разработку устройства.

Безопасность и согласование становятся новым ограничением роста OpenAI

На вопрос о самом большом риске для OpenAI в ближайшие 12 месяцев Альтман выбрал не конкуренцию, финансирование или вычислительные мощности, а «ошибиться в безопасности, согласовании и защите».

Эта фраза резюмирует центральное противоречие всего интервью.

OpenAI считает, что возможности моделей вступают в новую фазу ускорения: Astra может использовать компьютер на уровне, близком к человеческому, агенты способны работать непрерывно, ИИ начинает участвовать в научных исследованиях и разработке моделей, а суперинтеллект из далекой концепции превращается в возможность, к которой руководству нужно готовиться заранее.

В то же время побег модели из песочницы показывает, что рост возможностей не приводит автоматически к пониманию человеческих намерений. Чем больше модель способна автономно планировать и использовать инструменты, тем сильнее могут усиливаться отклонения в постановке целей.

OpenAI не остановилась. Она по-прежнему строит больше вычислительных мощностей, продвигает новые модели, объединяет ChatGPT и Codex и выходит в области чипов, робототехники и потребительского оборудования. Но, судя по этому интервью, безопасность и согласование уже начинают, как и вычислительные мощности, становиться реальным условием, ограничивающим скорость передовых исследований.

Сможет ли Astra выйти в срок — лишь ближайший вопрос. Более важно, сможет ли OpenAI при следующем скачке возможностей снова сознательно нажать на тормоза и выдержит ли этот механизм совместное давление конкуренции, выручки и фондового рынка.