Хуан Жэньсюнь и Амодей: два пути развития ИИ

Автор оригинала: Су Ян

Редактор оригинала: Сюй Цинян

Источник оригинала: Tencent Tech

Продолжать ли ускорять развитие передового ИИ или нажать на тормоза — этот вопрос стал самой острой темой в Кремниевой долине.

Вокруг этого спора гиганты Кремниевой долины начали выбирать стороны. Амодей, Альтман, Маск и Хассабис сформировали «лагерь паузы». Хуан Жэньсюнь — убеждённый сторонник ускорения, критикующий «теорию гибели от ИИ» за отсутствие научных оснований; Ян ЛеКун продолжает высмеивать Амодея, говоря: «(Амодей) ещё когда работал в OpenAI, считал GPT-2 настолько опасной, что её нельзя было открывать, я тогда уже смеялся над ним, и теперь все могут продолжать».

Для сравнения, Цукерберг и Наделла занимают относительно нейтральную позицию.

То, что гиганты выбирают разные стороны, означает, что в Кремниевой долине нет консенсуса по поводу паузы в разработке передовых моделей. Это связано с различиями в экологических нишах компаний в цепочке ИИ-индустрии. Лидеры на уровне моделей могут призывать к паузе по разным причинам, но заставить остановиться такие компании, как Oracle, AWS, имеющие заказы на вычислительные мощности на сотни миллиардов долларов, и Nvidia, стоящую на вершине пищевой цепочки, невозможно — положительного ответа не будет.

В Вашингтоне призывы к «паузе» не только не получили поддержки, но и вызвали ряд вопросов.

«Мне это немного напоминает троянского коня (It feels a little bit to me like a bit of a Trojan horse)», — сказал Джей Ди Вэнс в интервью. Эта фраза отражает реальное мнение Вашингтона: когда компании, которые сами создают угрозы, настойчиво требуют ужесточить правила, стоит задуматься, кому эти правила выгодны.

Пауза, предупреждение и письмо об увольнении

Искрой этого спора стало увольнение исследователя Anthropic Джейкоба Коксона.

До этого он три года занимался исследованиями предобучения в OpenAI и Anthropic, лично участвуя в обучении самых передовых моделей. В длинном посте в X он почти не церемонился: «Обе компании действовали безответственно. Они несутся прямо к самосовершенствующемуся суперинтеллекту, ставя на кон наши жизни».

Он прямо заявил, что люди внутри лабораторий действительно верят, что ИИ может убить всё человечество в течение десяти лет, и это вовсе не пиар-спектакль. Многие коллеги уже используют слова «критический момент» и «финальная стадия» для описания текущего этапа. Коксон даже отказался от即将归属的股权. Он проработал в Anthropic всего четыре месяца, а по правилам компании опционы переходят только через шесть месяцев.

Бывший исследователь Anthropic Джейкоб Коксон (Jacob Coxon)

Сразу после этого Эван Хьюбингер, отвечающий в Anthropic за науку о согласовании, публично ответил: Джейкоб прав, мы действительно серьёзно верим, что ИИ может убить всё человечество. Лично я считаю, что в течение десяти лет эта вероятность превышает 10%. Anthropic старается, но у нас нет чёткого плана решения проблемы согласования суперинтеллекта, и мы далеки от правильного пути.

Эти два заявления вынесли опасения, которые раньше в основном зрели внутри лабораторий, прямо на публику. На этом фоне соучредитель и генеральный директор Anthropic Амодей вскоре опубликовал длинную статью, систематически изложив идею «замедления передовых исследований». Он больше не говорит только об «увеличении инвестиций в безопасность», а прямо требует активно контролировать скорость скачка возможностей, давая механизмам безопасности время догнать.

Он предложил трёхшаговый план: сначала Anthropic в одностороннем порядке вводит независимых оценщиков с полномочиями уровня сотрудников; затем продвигает создание общих стандартов безопасности и пределов роста возможностей среди ИИ-компаний демократических стран; наконец, попытаться добиться глобальной координации.

Альтман, Маск и Хассабис вскоре публично поддержали его, сформировав «лагерь паузы».

До появления аргументов Джейкоба Коксона и Амодея о «замедлении» такие «крёстные отцы ИИ», как Йошуа Бенжио и Джеффри Хинтон, постоянно выступали с инициативами об учёте рисков.

Говоря об увольнении Коксона, Бенжио отметил, что учёные в передовых ИИ-лабораториях часто видят возможности новейших моделей раньше общественности, поэтому их суждения о рисках заслуживают серьёзного отношения.

В то же время Бенжио привёл конкретный пример, отметив, что нынешние ИИ-системы уже обладают способностями к хакерским атакам и убеждению, и если их использовать во вред человечеству, это может привести к серьёзным последствиям. Он также обеспокоен тем, что по мере того, как ИИ приобретает способность планировать на более длительные периоды, такие риски могут ещё больше возрасти.

Когда BBC спросила Джеффри Хинтона о вероятности более 10%, что ИИ «убьёт всё человечество» в ближайшие десять лет, он сказал, что эта цифра «не является необоснованной», но подчеркнул, что никто на самом деле не знает, как дать надёжную оценку, поскольку человечество никогда раньше не сталкивалось с «существованием вида, который может вскоре стать умнее нас».

Хинтон считает, что ИИ в будущем может быть использован для разработки опасных биологических вирусов, компьютерных вирусов и проведения масштабных кибератак. Поэтому человечеству необходимо найти эффективные методы контроля до того, как риски выйдут из-под контроля.

В отличие от сторонников новой волны «теории паузы» в Кремниевой долине, «крёстные отцы ИИ» в основном призывают обратить внимание на риски и исследовать механизмы контроля рисков, а не прямо нажимать на тормоза. Кроме того, с точки зрения позиции, мнения и предложения из академической сферы более бескорыстны, тогда как инициативы передовых лабораторий, даже если они открыто носят ярлык «ради человечества», всё равно трудно на 100% отделить от коммерческих соображений.

Именно поэтому Джей Ди Вэнс назвал «теорию паузы» похожей на троянского коня.

Разногласия и выбор сторон

Лагеря сторонников ускорения, замедления и центристов. Источник: The New York Times

15 сентября несколько руководителей технологических компаний выступили на конференции Salesforce Dreamforce, и этот спор перерос в прямое столкновение мнений.

В тот день Амодей, Хуан Жэньсюнь и Альтман говорили о безопасности ИИ, но дали разные ответы на вопросы о скорости развития, ответственности за безопасность и о том, какие действия должны предпринимать компании.

Амодей, выступая вместе с генеральным директором Salesforce Марком Бениоффом (Marc Benioff), снова подчеркнул, что ИИ-компании должны своими действиями устанавливать более высокие стандарты безопасности. Он считает, что добровольное принятие компаниями более строгих мер безопасности может способствовать развитию всей отрасли.

Иными словами, позиция Амодея начала меняться: от призыва ко всей отрасли замедлиться к самостоятельной установке компаниями защитных ограждений.

Хуан Жэньсюнь заявил, что «не нужны ни новые законы, ни новое регулирование». По его мнению, скорость и безопасность не являются взаимоисключающими, компании могут продвигать разработку моделей как можно быстрее; если обнаружится потеря контроля или невозможность гарантировать безопасность продукта, следует приостановиться и решить проблему.

Позиция Бениоффа была более открытой и подчёркивала самостоятельность. Он сказал, что если компания считает нужным замедлиться, пусть замедляется; если считает нужным ускориться, пусть ускоряется, и при этом несёт ответственность за свои решения.

Соучредитель и генеральный директор OpenAI Альтман на Dreamforce заявил, что очень уверен в том, что OpenAI и вся ИИ-индустрия смогут безопасно развиваться, не причиняя значительного вреда общественности. Он также выразил разочарование тем, что его позицию воспринимают как поддержку замедления развития ИИ во всей отрасли.

Иными словами, Альтман тоже начал менять позицию, подчёркивая, что хотел сказать не призыв к замедлению отрасли, а то, что работа по безопасности и мониторингу должна опережать наращивание возможностей.

Цукерберг не считает, что действия одной компании по безопасности должны зависеть от того, что другие ИИ-компании синхронно замедлятся. Он полагает, что привлечение независимых оценочных организаций и внешних консультантов для проверки безопасности моделей является лучшей отраслевой практикой. Он также сообщил, что Meta ранее уже самостоятельно замедлила разработку ИИ-инструмента Muse, не дожидаясь, пока другие компании сначала достигнут консенсуса о замедлении развития ИИ.

Позиция генерального директора Microsoft Сатьи Наделлы в некоторой степени совпадает с позицией Альтмана: он поощряет установку защитных ограждений и полноценную конкуренцию.

«Наша первоочередная задача — служить человечеству и обеспечивать, чтобы технологии оставались под контролем человека. В то же время широкое распространение ИИ-технологий является самым важным, должен быть выбор и конкуренция. К безопасности нужно относиться серьёзно, но решать её инженерными и прозрачными методами, а не мистифицировать», — сказал Наделла 15 сентября на саммите All-In Summit 2026.

Помимо этих предпринимателей, к дискуссии присоединились и голоса из Вашингтона.

После того как Трамп лично позвонил Хуан Жэньсюню и публично поддержал дальнейшее развитие ИИ-индустрии, сопредседатель Президентского совета советников по науке и технологиям Дэвид Сакс (David Sacks) заявил, что технологические компании могут продолжать продвигать передовой ИИ, и одновременно поставил под сомнение мотивы некоторых компаний, выступающих за «замедление».

Кто будет устанавливать правила?

По мере расширения дискуссии спор вышел за рамки самих рисков ИИ и затронул вопрос о том, должны ли стандарты безопасности передового ИИ устанавливаться самими компаниями или требуется вмешательство правительства и независимых организаций.

Bloomberg, ссылаясь на осведомлённые источники, сообщил, что Anthropic, Google и OpenAI ранее обсуждали создание отраслевого органа по стандартам искусственного интеллекта.

В июле Хассабис опубликовал статью, в которой предложил создать возглавляемый США орган по стандартам ИИ, работающий по модели, аналогичной Управлению по регулированию финансовой индустрии США (FINRA). Этот орган мог бы тестировать передовые модели ИИ до их официального развёртывания, определяя, соответствуют ли они стандартам безопасности.

По замыслу Хассабиса, этот орган не должен полностью управляться правительством, а должен использовать модель государственно-частного партнёрства. Правительство играет надзорную роль, финансирование обеспечивает ИИ-индустрия, а также привлекаются независимые ведущие технические эксперты и представители open-source сообщества.

Хассабис пытается добавить независимую проверку безопасности до того, как модели попадут в реальный мир. Это довольно близко к логике регулирования, обнародованной правительством США в начале июня: компании могут добровольно передавать модели на оценку правительству до публичного выпуска, предоставляя окно доступа до 30 дней до выпуска, при этом чётко не вводя обязательного одобрения и не требуя лицензий на выпуск.

Драматично, что последующие запуски Fable 5 и Mythos 5 не следовали этой процедуре, но у них обнаружили чрезвычайно сильные возможности кибератак и защиты, и в итоге их временно отключили по решению Бюро промышленности и безопасности США (BIS) в рамках экспортного контроля.

Однако даже в этом случае политика лишь требует установки защитных ограждений, не делая заявлений или указаний о замедлении.

Схожую с Хассабисом точку зрения высказал главный научный сотрудник OpenAI Якуб Пачоцкий (Jakub Pachocki). В начале сентября он также подчеркнул, что общие стандарты безопасности и международная координация дальнейшего развития ИИ должны стать текущим приоритетом.

Никто по-настоящему не нажал на тормоза

На данный момент этот спор ещё не изменил реальный темп развития передовых ИИ-компаний.

Anthropic, OpenAI, Google, xAI и другие компании продолжают продвигать разработку моделей, а конкуренция за вычислительные мощности, центры обработки данных и ИИ-инфраструктуру не остановилась из-за этого спора. На рынке капитала произошли разные изменения: Anthropic всё ещё готовится к IPO в этом году, а OpenAI отложила планы IPO до 2027 года.

Амодей хочет остановить всю отрасль, чтобы вместе с Anthropic искать решения по установке защитных ограждений для выхода возможностей моделей за пределы, что в определённой степени можно понять как «щедрость за чужой счёт».

Именно поэтому Амодея окрестили «притворяющимся безупречным ангелочком».

По вопросу контроля рисков точка зрения, которую представляет Хуан Жэньсюнь, на самом деле больше соответствует реальности: если у компании есть опасения или она обнаружила проблему, она вполне может самостоятельно искать решение и делиться найденными эффективными методами с отраслью.

Заставить команду из 100 человек и команду из 1000 человек остановиться одновременно — для этого нет основы для консенсуса. Даже сам Амодей прекрасно понимает, что если остановится только он, его, скорее всего, обгонят конкуренты, такие как OpenAI.

Что ещё важнее — разногласия на уровне корпоративного управления. Anthropic и OpenAI являются общественно полезными компаниями (Public Benefit Company), они могут заявлять о «готовности отказаться от краткосрочных финансовых выгод ради будущего человечества» и говорить инвесторам: «Мы давно договорились об этом». Но такие публичные компании, как Google, Microsoft и Meta, несут фидуциарные обязательства перед акционерами на вторичном рынке.

Вероятность достижения консенсуса между компаниями с такими разными интересами по этому вопросу также невелика.

Есть ещё одна деталь, которую могли упустить из виду. До появления «теории паузы» и Anthropic, и OpenAI выпустили свои самые мощные модели: одна — Fable 5.1, другая — GPT-6 Astra.

На фоне всех этих призывов будут ли другие компании выпускать свои новые модели?