Бывший вице-президент OpenAI по исследованиям: у людей-исследователей осталось два года, исследования ИИ стремительно автоматизируются

У людей-исследователей осталось всего два года, чтобы продолжать играть важную роль в открытиях в области ИИ. После этого весь цикл исследований и разработок ИИ — от выдвижения гипотез до их проверки — будет полностью автоматизирован. Слепое копирование моделей Transformer крупных компаний — это «обречённая на провал игра», а узким местом для дальнейшего прогресса ИИ является сама архитектура. В будущем не только лаборатории ИИ, но и все крупные предприятия перейдут на полную автоматизацию.

В современной сфере искусственного интеллекта исследователи сталкиваются с беспрецедентным внутренним разладом: с одной стороны — стремительный технологический прогресс, с другой — изнеможение от бесконечного кода и экспериментов.

«Сейчас часто можно услышать, как исследователи в области ИИ повторяют одну и ту же фразу: „Нашей работе осталось всего несколько дней, давайте сделаем как можно больше, пока можем, а потом мы все сможем отдохнуть“», — с чёрным юмором заметил в недавнем интервью бывший вице-президент OpenAI по исследованиям Джерри Творек.

По его мнению, это вовсе не простая шутка. С наступлением эры агентно-ориентированного ИИ ИИ сам стремительно берёт на себя исследовательскую работу. «По моей приблизительной оценке, у людей-исследователей осталось как минимум два года, чтобы продолжать играть важную роль в процессе открытий в области ИИ».

Покинув OpenAI, где он проработал семь лет, Джерри основал Core Automation. Его цели выходят за рамки разработки очередной большой языковой модели — он пытается перестроить саму парадигму работы ИИ-компаний: использовать ИИ для разработки ИИ и создать полностью автоматизированную «лабораторию ИИ третьего поколения».

Ключевые тезисы интервью:

«Обратный отсчёт» для людей-исследователей: у людей-исследователей осталось всего два года, чтобы продолжать играть важную роль в открытиях в области ИИ. После этого весь цикл исследований и разработок ИИ — от выдвижения гипотез до проверки — будет полностью автоматизирован.

Подъём лабораторий ИИ третьего поколения: в отличие от DeepMind/ранней OpenAI (чисто исследовательский подход) и лабораторий после GPT-3 (ориентированных на масштабирование вычислительных мощностей), лаборатории третьего поколения ставят «автоматизацию» на первое место. Использование недорогих ИИ-агентов вместо людей для выполнения трудоёмких экспериментов и написания кода позволяет сократить цикл разработки с нескольких месяцев до одного дня.

Вызов гегемонии Transformer: слепое копирование моделей Transformer крупных компаний — это «обречённая на провал игра», а узким местом для дальнейшего прогресса ИИ является сама архитектура. Лаборатории нового поколения используют агентов для программирования, чтобы с нуля исследовать новые архитектуры, которые ранее были отложены в долгий ящик из-за «чрезвычайно высокой стоимости проб и ошибок», с целью создания новых моделей, обучающихся во время тестирования (test time).

Раскрытие подробностей о моделях o1/o3: масштабное обучение с подкреплением (RL) — необходимый путь к AGI. Илья Суцкевер ещё в 2019 году точно предсказал дорожную карту. Прорыв серии o (рассуждающих моделей) стал результатом многолетних фундаментальных исследований команды и решительного выделения вычислительных ресурсов руководством (например, Якубом Пахоцким) в ключевой момент.

«ИИ уровня компании» станет конечным продуктом: в будущем не только лаборатории ИИ, но и все крупные предприятия перейдут на полную автоматизацию. В «пост-трудовую эпоху», когда повторяющийся труд будет устранён, у людей появится больше времени для достижения величия духа и тела.

Обратный отсчёт два года: лаборатории ИИ третьего поколения отказываются от «ручного исполнения»

Джерри Творек выделяет три этапа развития лабораторий ИИ.

Первое поколение, представленное DeepMind и ранней OpenAI, возникло до подтверждения «осуществимости масштабного ИИ» и было чисто исследовательскими организациями, нацеленными на достижение AGI. Второе поколение появилось после выхода GPT-3, когда закон масштабирования (Scaling Law) доказал свою эффективность, и лаборатории начали яростно конкурировать за вычислительные мощности, пытаясь породить интеллект через масштабирование (например, Anthropic).

А сейчас мы наблюдаем появление лабораторий ИИ третьего поколения, которые ставят «автоматизацию» на первое место.

В традиционной разработке ИИ процесс — от выдвижения гипотезы, написания кода, проведения мелкомасштабных экспериментов до мобилизации десятков людей на месяцы для масштабирования — чрезвычайно дорог и сопряжён с большими трудностями.

«Во многих отношениях наш нынешний подход таков: люди-исследователи по-прежнему отвечают за генерацию инсайтов и определение направления, но роль агентов — максимально упростить процесс исполнения», — отмечает Джерри. Хотя нынешние агенты ещё не преуспели в открытых исследованиях или выдвижении сверхточных гипотез, при наличии чётких инструкций их исполнительность безупречна.

«Если мы сможем сократить время эксперимента с месяца до одного дня, это будет ускорение в 30 раз», — прогнозирует Джерри. Через два года весь цикл исследований ИИ — от появления идеи до проверки данными — будет полностью автоматизирован. Люди перестанут играть в нём решающую роль, подобно тому как сегодня люди не играют решающей роли в шахматах, уступая компьютерам.

Уход от гонки вычислительных мощностей и свержение «десятилетнего господства» Transformer

В настоящее время почти все ведущие компании «соревнуются» в вычислительных мощностях на архитектуре Transformer. Но, по мнению Джерри, для новых лабораторий (NeoLabs) слепое следование — это катастрофа.

«Просто нанять группу исследователей и сказать: „Мы будем обучать модели Transformer, так же, как это делают OpenAI и Anthropic, и попытаемся конкурировать с ними“ — это очень плохая стратегия. Это обречённая на провал игра».

Он отмечает, что из-за экономических стимулов и высокой стоимости проб и ошибок крупные компании склонны идти по самому безопасному пути масштабирования. Но исторический опыт показывает, что на ранних этапах любой технологии происходят фундаментальные потрясения. «Узким местом для более быстрого развития и прогресса ИИ является сама архитектура, то есть Transformer, который мы используем уже столько лет».

Почему за последние десять лет никому не удалось заменить Transformer? Ответ Джерри: слишком высокая стоимость проб и ошибок.

Раньше, чтобы протестировать новую архитектуру, исследователю приходилось писать чрезвычайно сложный код. Даже если мелкомасштабный эксперимент удавался, для масштабирования требовались огромные согласования по вычислительным ресурсам и командные ресурсы. Многие инновационные идеи погибали в долгих бюрократических проволочках или тонули в инерции Transformer.

Но теперь ситуация изменилась. «Написание кода стало значительно дешевле и проще, и это может стать уникальным способом открытия новых возможностей». Используя недорогих ИИ-агентов для программирования, Core Automation пытается с нуля исследовать архитектурные пути, от которых ранее отказались. Их главная цель предельно ясна: создать модели с новой архитектурой, способные обучаться во время тестирования (test time) и учиться на взаимодействии с пользователями.

Первое раскрытие подробностей о прорыве o1/o3: чудо обучения с подкреплением и вычислительных мощностей

Будучи ключевым разработчиком серии o (рассуждающих моделей) OpenAI, Джерри впервые в интервью рассказал историю этого революционного прорыва.

Ещё в начале 2019 года Илья Суцкевер на общем собрании чётко описал дорожную карту к AGI: «Нам нужно обучить огромную генеративную модель на всех доступных данных, а затем обучить её с помощью обучения с подкреплением (RL)».

Направление было ясным, но путь к реализации оказался долгим и тернистым. Джерри рассказал, что, когда началось обучение GPT-3, его первой реакцией было подумать, как использовать его для обучения с подкреплением. Первый Codex был экспериментальной разработкой, сочетавшей большую языковую модель с обучением с подкреплением. Однако из-за ограничений в данных, алгоритмах и постановке экспериментов команда долгое время не могла эффективно масштабировать этот подход.

«Все эти вещи тогда тихо развивались в фоновом режиме. Долгое время попытки не приносили значительных результатов».

Перелом наступил благодаря «признакам жизни» и решительным действиям руководства. Когда модель наконец показала слабые искры того, что обучение с подкреплением может сработать, главный научный сотрудник Якуб Пахоцкий чутко уловил возможность: «Джерри, теперь у нас есть эти GPU. Посмотри, сможем ли мы начать масштабировать это, сможем ли мы усилить и расширить существующие результаты».

В лабораториях ИИ, испытывающих нехватку вычислительных ресурсов, вечная дилемма «курицы и яйца» (сначала результаты или сначала ресурсы) стоит особенно остро. Но именно выделение ресурсов по принципу «действуй смело» со стороны руководства зажгло всю команду.

«Это нас невероятно воодушевило. Мы приложили втрое больше усилий, чтобы продумать, какие наборы данных, системы и эксперименты нужны, чтобы доказать возможность устойчивого масштабирования. Энтузиазм породил экспериментальные результаты, а результаты создали импульс». В конечном итоге, увеличив масштаб обучения с подкреплением на несколько порядков, команда выпустила поразившие индустрию рассуждающие модели o1 и o3.

Конечное видение: «ИИ уровня компании» и фантазии о пост-трудовой эпохе

Говоря о будущих продуктах Core Automation, Джерри смотрит дальше простых моделей ИИ.

«Мы хотим сделать свою компанию самой автоматизированной в мире и использовать её как образец. Мы хотим построить нечто вроде „мозга компании“, который аккумулирует всю корпоративную информацию, а сотрудники через терминалы становятся пользователями корпоративного ИИ».

Когда его спросили, что ждёт человечество, если компании всех размеров в конечном итоге полностью автоматизируются, Джерри предложил философскую концепцию «пост-трудовой (post-labor) эпохи».

Крупнейшие компании с самой тяжёлой бюрократией будут автоматизированы первыми, ИИ возьмёт на себя передачу информации и оптимизацию процессов. Это означает, что «ручное исполнение», к которому люди были вынуждены прибегать на протяжении ста тысяч лет ради выживания, постепенно подойдёт к концу. Если шахты смогут работать автономно, обеспечивая ресурсы, а программное обеспечение — само исправлять ошибки и разрабатывать новые функции, людям больше не придётся заставлять себя «вкалывать» ради поддержания мира в рабочем состоянии.

Но это не означает абсолютного конца труда. Джерри считает, что в будущем фокус сместится на «улучшение человека (human augmentation)» и стремление к предельному величию.

«Я представляю себе мир, в котором мы живём как древнегреческие философы: собираемся на площадях, целыми днями обсуждаем философию, занимаемся спортом, делаем то, что хотим. Люди должны стремиться к величию тела и духа, подобно тому как сегодня в профессиональном спорте нет экономической необходимости, но мы стремимся к величию ради самого величия. Это и есть самое важное для нас».

Пока часы обратного отсчёта двух лет тикают, и исследователям ИИ, и всем обычным людям в волне экономики знаний, возможно, пора переосмыслить определение «работы».