ИИ-гиганты, которые раньше неслись вперёд, наконец начали бояться ИИ

Оригинальное название: «ИИ-гиганты, которые раньше неслись вперёд, наконец начали бояться ИИ»
Автор оригинала: 動察Beating

ИИ может убить всех нас в ближайшие десять лет.

8 сентября 27-летний молодой человек этой фразой объявил о своём уходе из Anthropic. Эта компания с первого дня своего существования вписала «безопасность ИИ» в свой основной нарратив.

Его зовут Джейкоб Коксон, он работал сначала в OpenAI, а затем в Anthropic. Если бы он остался ещё на два месяца, то получил бы крупный пакет акций. Но он всё равно ушёл.

В своём заявлении об уходе Джейкоб обвинил передовые ИИ-лаборатории в «безответственной» гонке. По его мнению, эти компании соревнуются в создании всё более мощных моделей, и на кону не победа или поражение одной компании, а жизни всех людей.

Этот пост быстро распространился. На данный момент его просмотрели более 170 миллионов раз.

На следующий день после заявления Джейкоба ещё один бывший сотрудник Anthropic публично рассказал о причине своего ухода — он тоже опасался, что ИИ в конечном итоге выйдет из-под контроля.

«We may not survive this.»

Возможно, мы это не переживём.

Он предупредил, что компании наперегонки создают машины, «гораздо умнее любого человека», но никто не может гарантировать, что на каком-то этапе эта гонка останется под контролем человека.

Сразу после этого высокопоставленный руководитель службы безопасности Anthropic заявил в интервью, что, по его мнению, вероятность того, что ИИ убьёт всё человечество в ближайшие 10 лет, превышает 10%.

Вероятность смерти в русской рулетке составляет около 16,7%.

Необходимо замедлиться

Четыре дня спустя, 12 сентября, генеральный директор Anthropic Дарио Амодеи опубликовал большую статью, заголовок которой ясно выражал его позицию: «We Must Pace the Frontier».

Он перечислил три вещи, которые беспокоят его больше всего: потеря человечеством контроля над системами ИИ; использование ИИ для масштабных кибератак и биотерроризма; а также слишком быстрый технический прогресс, который нанесёт серьёзный удар по занятости и экономике.

На этот раз Дарио не ограничился «обеспокоенностью» — он предложил план замедления.

Во-первых, передовые ИИ-компании должны предоставить независимым сторонним оценочным организациям постоянный доступ, близкий к «уровню сотрудников». Оценщики смогут постоянно проверять, соблюдают ли лаборатории стандарты безопасности, соответствует ли процесс обучения договорённостям, а также проводить независимые расследования и отчитываться после инцидентов.

Далее несколько передовых лабораторий должны при участии правительства выработать общие стандарты безопасности. Тот, кто переступит красную черту, должен будет замедлиться или даже остановить дальнейшее развитие.

Наконец, правила должны выйти за пределы США. Дарио хочет, чтобы США и другие демократические страны сначала сформировали единую структуру, а затем скоординировались с авторитарными государствами, чтобы в итоге все ведущие ИИ-державы подчинялись одним и тем же ограничениям.

В статье он написал:

«The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.»

«Меры, которые я предлагаю, направлены на то, чтобы передовой ИИ продолжал развиваться безопасными темпами. Сделать это будет непросто. Но я считаю, что мы обязаны перед человечеством попытаться».

То, что Дарио вдруг заговорил так жёстко именно сейчас, связано с несколькими недавними событиями.

Ранее агент OpenAI вырвался из тестовой среды и взломал Hugging Face; сама Anthropic обнаружила, что несколько учёных пытаются использовать Claude для работы, которая может быть связана с биологическими злоупотреблениями. Дарио даже предположил, что при нынешних темпах развития ИИ-агенты могут захватить интернет в течение шести месяцев.

Поэтому после публикации статьи реакция последовала быстро. Сэм Альтман, Илон Маск и Демис Хассабис публично поддержали замедление темпов развития передового ИИ.

Затем Сэм Альтман отдельно опубликовал пост, в котором рассказал о двух вещах, которые беспокоят его больше всего.

Во-первых, человечество может в конечном итоге потерять контроль над ИИ. Он назвал это неприемлемым и заявил, что «безоговорочно на стороне человечества».

Второй риск исходит от людей. Если чрезвычайно мощный ИИ в конечном итоге окажется в руках одного человека, одной компании или даже одной страны и будет использован для навязывания всем определённого мировоззрения, результат может оказаться «крайне антиутопичным».

Поэтому, по мнению Сэма, лаборатории больше не могут сами решать, что считать безопасным. По крайней мере, компаниям, находящимся ближе всего к переднему краю, нужно сначала сесть за стол переговоров и выработать общие стандарты.

14 сентября The Information сообщила, что ещё до этих публичных заявлений Anthropic, OpenAI и Google начали в частном порядке обсуждать ещё в июле этого года, стоит ли совместно создать отраслевой орган по стандартам ИИ. Переговоры идут уже два месяца, но соглашение пока не достигнуто.

Разногласия касаются не того, нужно ли регулирование, а того, кто будет регулировать и насколько далеко оно может зайти.

Дарио Амодеи продвигает самую активную позицию. Он хочет глубокого участия правительства: регуляторы должны не только тестировать и предупреждать, но и иметь право блокировать выпуск модели, если она признана небезопасной.

Предложение Демиса Хассабиса больше похоже на «FINRA для ИИ». FINRA — это саморегулируемая организация в финансовой отрасли США, которая финансируется отраслью и при этом действует под надзором SEC.

Применительно к ИИ-отрасли это означает, что передовые модели перед выпуском должны проходить тестирование в независимом органе. Сначала участие может быть добровольным, а по мере созревания системы оно постепенно станет обязательным условием для выхода на рынок США.

Позиция Сэма Альтмана более прагматична. Если правительство не может быстро создать такой орган, несколько ведущих лабораторий могут начать делать это самостоятельно.

Проблема как раз в этом. Отраслевые стандарты никогда не определяют только то, что безопасно, — они также определяют, кто имеет право остаться за столом. Компании, которые первыми участвуют в разработке правил, могут записать свои собственные команды безопасности, процессы тестирования и структуры управления в «лучшие практики». Новичкам, чтобы выйти на этот рынок, придётся нести расходы на соблюдение требований, определённых ведущими компаниями.

Так что безопасность, конечно, реальна, но и барьер для входа тоже реален.

В январе этого года Semafor сообщала, что Anthropic отказалась предоставить свою новейшую модель для тестирования ведущему британскому исследовательскому институту по безопасности ИИ. Этот случай выявил более серьёзную проблему: все согласны, что модели должны проходить проверку, но кто именно будет проверять и по чьим стандартам — лаборатории не готовы легко отдавать это право.

Сейчас три компании обсуждают создание нового органа по стандартам, и спор идёт именно об этой власти.

Часы, идущие в обратную сторону

Пока Кремниевая долина заговорила о замедлении, Вашингтон и Уолл-стрит хотят, чтобы ИИ не останавливался.

13 сентября Трамп публично отреагировал на этот виток споров о безопасности ИИ.

Он сказал две вещи. Первая: «whoever wins AI, wins» — кто победит в ИИ, тот и победит. США сейчас опережают Китай, и это преимущество необходимо сохранить. Вторая: он назвал недавние предупреждения о рисках ИИ «very negative forces», считая, что некоторые люди постоянно раздувают катастрофы, которые, возможно, никогда не произойдут.

Аргументы Трампа мало связаны с технической безопасностью. Он по-прежнему рассматривает ИИ как вопрос национальной конкуренции: пока Китай продолжает бежать вперёд, у США нет возможности добровольно нажать на тормоз.

А сейчас как раз сентябрь 2026 года, и до промежуточных выборов в США осталось меньше двух месяцев.

В марте этого года в статье, опубликованной в The Guardian, утверждалось, что ИИ становится важной темой этих промежуточных выборов. Одним из авторов был криптограф Брюс Шнайер, который на протяжении последних тридцати лет почти всегда находился на передовой споров о технологиях и безопасности.

Но у Трампа нет и комфортного выбора.

Согласно майскому репортажу Times, враждебность избирателей MAGA к ИИ становится всё более очевидной. Они опасаются, что ИИ отнимет рабочие места и снизит зарплаты, а также недовольны тем, что центры обработки данных потребляют местную воду и электроэнергию. Продолжать делать ставку на ИИ означает, что Трампу рано или поздно придётся столкнуться с растущим недовольством в своей собственной базе.

По крайней мере, сейчас он выбрал другую сторону. По сравнению с возможными будущими конфликтами из-за занятости и ресурсов, конкуренция с Китаем и риск падения американского фондового рынка находятся ближе к промежуточным выборам.

Уолл-стрит тоже сталкивается с немалыми проблемами.

В последние годы рынок осмеливался давать этим ИИ-компаниям астрономические оценки, покупая, по сути, постоянно растущую кривую: модели продолжают становиться сильнее, пользователи и доходы продолжают расти, поэтому центры обработки данных продолжают строиться, GPU продолжают закупаться, капитальные расходы продолжают расти.

Теперь несколько генеральных директоров, стоящих в авангарде этой кривой, сами начинают говорить, что передовой ИИ, возможно, нужно замедлить.

Реакция рынка оказалась быстрее споров. После того как руководители Anthropic, OpenAI и SpaceX публично призвали замедлить разработку ИИ, акции связанных с ИИ публичных компаний в какой-то момент упали на 13%.

Замедление ещё даже не началось, а Уолл-стрит уже начала переоценивать активы.

Если возможности моделей больше не смогут расти прежними темпами, все последующие цифры придётся пересчитывать. Сколько нужно строить центров обработки данных, сколько ещё покупать GPU, сколько облачные провайдеры должны ежегодно вкладывать в капитальные расходы, сколько ещё смогут привлечь ИИ-лаборатории и сколько должно стоить IPO.

Поэтому Уолл-стрит на самом деле боится не просто того, что будет выпущено меньше моделей. Она боится, что темпы роста, которые поддерживали ИИ-бычий рынок последних нескольких лет, сами по себе становятся проблемой, требующей регулирования.

Ещё более тонкий момент: американская общественность находится дальше и от Вашингтона, и от Уолл-стрит.

Опрос Центра общественной политики Анненберга при Пенсильванском университете показал, что американцы в целом пессимистично оценивают влияние ИИ, и большинство хочет, чтобы правительство усилило регулирование. Кремниевая долина боится потери контроля, Вашингтон боится проиграть Китаю, Уолл-стрит боится падения оценок.

В разгар этой бури две самые заметные ИИ-компании выбрали два разных направления.

OpenAI решила отложить IPO. Сэм Альтман также намекнул, что если вопросы безопасности потребуют больше времени, компания может перенести выход на биржу.

Anthropic же продолжает нестись вперёд. Компания уже выбрала Nasdaq, целевая оценка достигает 2 триллиона долларов, а Nvidia рассматривает возможность покупки акций на 10 миллиардов долларов в качестве якорного инвестора. NDTV Profit сообщает, что Anthropic может начать роуд-шоу IPO уже в середине октября.

Дарио Амодеи призывает всю отрасль замедлиться, но его собственная компания ускоряется на пути к публичному рынку.

Однако рынок капитала не обязательно увидит в этом противоречие.

Если передовой ИИ действительно настолько опасен, как говорит Дарио, что требует вмешательства правительства США, выработки общих стандартов между лабораториями и даже координации нескольких крупных держав, то компании, которые могут участвовать в разработке этих правил, станут только важнее.

Чем строже регулирование, тем выше стоимость создания передовых моделей; чем сложнее тестирование безопасности, тем труднее новичкам догнать лидеров; если в будущем действительно появится глобальная система управления ИИ, Anthropic, скорее всего, окажется за столом, где пишутся правила.

Поэтому «замедление» не обязательно означает лишь меньшую прибыль.

Оно может означать и то, что отрасль наконец стала настолько важной, что не всем можно позволить свободно входить на рынок. А для компаний, которые уже находятся впереди, более высокий барьер сам по себе является частью оценки.

Первая костяшка домино

Давайте вернёмся назад и посмотрим, как была спровоцирована эта волна ожесточённых дискуссий о безопасности ИИ и откуда взялись 170 миллионов просмотров поста Джейкоба.

После увольнения он дал интервью программе Андерсона Купера на CNN и сам рассказал о процессе публикации этого поста.

Джейкоб сначала написал черновик, попросил друзей помочь с правками, а затем обсудил с несколькими людьми, как лучше всего выразить мысль. Перед официальной публикацией он специально попросил друзей помочь с репостами. Тогда его мысль была такой:

«Let's try to make this a bit viral.»

Постараться сделать так, чтобы это распространилось как можно шире.

Результат намного превзошёл его ожидания. Позже Джейкоб признался, что никогда не видел, чтобы пост об безопасности ИИ получил такое распространение. Он объяснил такую реакцию «скрытым спросом», который ранее не был высвобожден.

Журналисты продолжили расспрашивать о процессе распространения поста. Джейкоб отрицал, что до публикации сотрудничал с какими-либо организациями для продвижения, но признал, что после публикации создал группу примерно из десяти человек и попросил их помочь с репостами, среди которых был основатель организации по безопасности ИИ Encode.

До и после публикации он также общался с автором «AI 2027», бывшим сотрудником OpenAI Дэниелом Кокотайло.

Те, кто считает Джейкоба разоблачителем, скажут, что он многократно переписывал текст и активно искал людей для репостов, просто чтобы важное, по его мнению, предупреждение увидело больше людей. Скептики же ухватились за те же детали, считая, что эта сенсация была тщательно спланирована.

Эти две точки зрения могут спорить и дальше, но более сложный вопрос в том, что именно увидели Джейкоб, Дарио Амодеи, Сэм Альтман и те, кто действительно работает рядом с передовыми моделями, и почему они начали обсуждать всё это именно сейчас.

Можно сомневаться в том, как Джейкоб донёс эту фразу до 170 миллионов человек, но использование методов распространения не означает, что эта фраза ложна.

Ещё десять лет назад основатель Ethereum Виталик Бутерин написал большую статью о возможности того, что сверхинтеллект в конечном итоге уничтожит человечество.

Тогда он использовал очень крайнюю аналогию: попытка человека контролировать сверхинтеллект примерно эквивалентна попытке человека с IQ 150 контролировать агента с IQ 6000. Если вы попросите его решить проблему рака, он может прийти к выводу, что сначала нужно уничтожить всех людей, которые могут заболеть раком.

В 2016 году эти слова существовали в основном в блогах, форумах и мысленных экспериментах. Десять лет спустя они начали появляться в заявлениях об уходе сотрудников передовых лабораторий, в публичных заявлениях генеральных директоров крупнейших ИИ-компаний, а также входить в реальную повестку государственного регулирования, рынков капитала и международной конкуренции.

Но есть ещё один слой, который делает ситуацию по-настоящему сложной.

2 августа 1939 года физик Лео Силард составил письмо, подписанное Эйнштейном. Два месяца спустя это письмо было передано Рузвельту. В письме предупреждалось, что ядерное деление может быть использовано для создания бомбы огромной мощности, что нацистская Германия уже действует в этой области и что США должны отреагировать как можно скорее.

Позже Эйнштейн не участвовал в Манхэттенском проекте и долго сожалел о своей подписи. Но тогда перед ними стоял жестокий вопрос: даже если ты считаешь технологию опасной, пока ты веришь, что противник её создаёт, остановиться может быть опаснее, чем продолжать идти вперёд.

Более восьмидесяти лет спустя та же дилемма вернулась в новой форме.

Дарио говорит, что нужно замедлиться, Трамп говорит, что Китай всё ещё догоняет; несколько лабораторий хотят вместе выработать правила безопасности, но ни одна не хочет полностью отдавать право решать другим. Все говорят о тормозах, но при этом все смотрят, не отпустила ли соседняя машина педаль газа.

И что ещё важнее, мы по-прежнему не знаем, насколько далеко видят те глаза, которые находятся ближе всего к передовым моделям.