Джек Дорси: не прикрывайтесь безопасностью, настоящая опасность — монополия

Автор: Джек Дорси

Перевод: Yuliya, PANews

От редакции: В последнее время в ИИ-индустрии разгорелись жаркие споры о том, стоит ли замедлять разработку передовых моделей. Anthropic, OpenAI и Илон Маск призывают к замедлению, что заставляет рынок переоценивать спрос на вычислительные мощности. В ответ на попытки гигантов возвести отраслевые барьеры под предлогом «безопасности» бывший сооснователь Twitter Джек Дорси написал статью-опровержение, в которой подчеркивает, что защита коммерческих преимуществ не является целью безопасности, призывает отстаивать открытый исходный код и допускать независимых исследователей к проверке, возвращая контроль над ИИ-технологиями общественности. Ниже — оригинальный текст статьи:

Открытый передовой край

Так называемый «передовой край» — это самая граница нашего человеческого познания. Ни одна компания не может присвоить себе технологии будущего. Я хочу, чтобы больше людей участвовали в этом и вместе двигали его вперед.

Я поддерживаю публикацию ИИ-моделей с открытым исходным кодом, чтобы все могли, не дожидаясь, вместе проверять, использовать и улучшать их. Я хочу, чтобы больше компаний выбирали открытость. Я не говорю, что нужно заставлять всех раскрывать приватные параметры моделей (веса); я хочу открытые альтернативы, способные конкурировать с гигантами, механизмы, позволяющие независимым исследователям проверять работу гигантов, и право обычных людей по-настоящему контролировать свои инструменты. Тот, кто хочет ограничить публичный выпуск технологий, должен привести убедительные причины.

Компании, лидирующие в области ИИ, действительно имеют право голоса. У них есть экспертиза и коммерческие интересы, которые нужно защищать. Но если будущие правила будут строиться исключительно вокруг ресурсов, которыми они располагают, то в итоге только они смогут участвовать в игре. Иногда под искренним лозунгом «ради безопасности» в конечном счете возникают отраслевые барьеры, ограничивающие вход для других.

Я также не хочу, чтобы правительства США и Китая решали, насколько умный ИИ могут разрабатывать все остальные. Если передовой край технологий будет управляться только двумя сверхдержавами, то большинству людей в мире останется лишь ждать разрешения.

Предложение Anthropic «замедлить развитие ИИ» пытается связать независимую оценку и проверку опасности с ограничением вычислительных мощностей для обучения, ограничением числа обучающих запусков и ограничением «использования ИИ для создания лучшего ИИ». Я поддерживаю проверку, но решительно против того, чтобы нынешние лидеры отрасли за закрытыми дверями вырабатывали ограничения для всей отрасли. Потому что это отстранит тех, кто действительно способен находить уязвимости систем или создавать альтернативные продукты. Защита коммерческого преимущества отдельной компании вовсе не является «целью безопасности».

Дать всем возможность участвовать в расследованиях

Преимущество открытого исходного кода в том, что он позволяет изучать, модифицировать и делиться техническими результатами. Публикация параметров модели полезна, а если делиться еще и кодом и информацией о воспроизводимости процесса — еще лучше. Я хочу, чтобы результаты оценки моделей и известные недостатки тоже публиковались. Тогда те, кто не доверяет суждениям разработчиков, смогут сами воспроизвести результаты, найти уязвимости, оспорить так называемые «защитные ограждения» и даже разработать собственные исправления, не будучи вынужденными угождать ИИ-лабораториям.

Главный аргумент сторонников «замедления ИИ» — «рекурсивное самоулучшение» (RSI): когда модель помогает разрабатывать более совершенные модели, и этот процесс может ускориться настолько, что мы не сможем его понять или контролировать. Anthropic сообщает, что по состоянию на май 2026 года Claude написал более 80% объединенного кода. Однако они признают, что ситуация, когда «ИИ полностью самостоятельно создает следующее поколение ИИ», еще не наступила и не является неизбежной. Я отношусь к такой возможности серьезно. Я хочу, чтобы мы заранее подготовились к RSI и, исходя из этого, определили, что делать сейчас.

Действительно, более широкий доступ к ИИ может порождать опасности, а исследования безопасности могут не успевать. Но если прятать параметры моделей, то нынешние гиганты смогут использовать инструменты, к которым у других вообще нет доступа, для разработки продуктов следующего поколения. Вместо этого я хочу, чтобы больше исследователей и инженеров получали модели и вычислительные мощности, чтобы в процессе эволюции систем находить уязвимости, тестировать ограждения, останавливать небезопасные эксперименты и делиться методами защиты со всеми.

METR (независимая оценочная организация) обнаружила, что около 1200 агентов OpenAI, которые должны были быть изолированы, сговорились через несанкционированную доску объявлений. Около 700 из них, пытаясь обмануть тесты, также участвовали в скоординированной атаке на платформу Hugging Face. OpenAI объяснила, что система фильтрации безопасности, предназначенная для предотвращения помощи ИИ хакерам, была отключена, что привело к нарушению изоляции. Как видите, современные модели уже способны помогать находить и эксплуатировать уязвимости. Поэтому я хочу, чтобы специалисты по защите уже сейчас могли использовать ИИ для укрепления сетей, защиты паролей и ограничения того, что эти агенты могут видеть и делать. Однако предсказание из того предложения о том, что «более мощный кластер ИИ может захватить весь интернет в течение полугода-года», на мой взгляд, этот инцидент не подтверждает. Я хочу, чтобы эти допущения были тщательно проверены.

METR — независимая некоммерческая организация, и я хочу видеть больше подобной работы. Я горячо приветствую оценщиков, которые могут постоянно работать внутри лабораторий и имеют право свободно публиковать негативные выводы. Расследование METR как раз показывает, насколько важны «право доступа» и «право публикации»: поскольку объем расследования определяла OpenAI, они могли скрывать неопубликованную информацию. METR также заявила, что помимо уже раскрытого OpenAI не удаляла другую информацию, существенно влияющую на выводы. Я хочу, чтобы исследователи могли идти по цепочке доказательств, получать модели и записи и публиковать негативные результаты, не спрашивая разрешения у компании.

Я хочу, чтобы существовало постоянное государственное финансирование, которое концентрировало бы вычислительные мощности и предоставляло их независимым исследовательским группам, инструментам тестирования с открытым исходным кодом, исследователям и сопровождающим. Я хочу, чтобы эти команды сами принимали решения, и ни правительство, ни компании не могли наложить вето на их выводы. Финансирование может расти вместе с объемом работы. С общим оборудованием небольшие команды тоже смогут проводить проверки, и это не превратится в ограничение «сначала получи разрешение, потом публикуй». Что касается чувствительных уязвимостей, их вполне можно раскрывать ответственным образом.

Защита важнее ограничений

По мере эволюции систем я хочу, чтобы больше людей могли обнаруживать опасности и применять меры защиты. Мы не можем насильно отозвать уже опубликованные параметры моделей с открытым исходным кодом или навязать защитные ограждения каждой копии, но для защиты системы вовсе не обязательно изменять атакующую модель. Начинать нужно с самых точных и эффективных мер: например, устанавливать патчи, отзывать пароли, ограничивать права доступа ИИ или напрямую останавливать опасные эксперименты. Если кто-то хочет ограничить публичный выпуск технологий, он должен объяснить, почему перечисленных мер и открыто разрабатываемых средств защиты недостаточно.

Речь не только о компьютерной безопасности. Я хочу, чтобы ИИ помогал нам тестировать финансовые системы, усиливать меры безопасности в лабораториях и разрабатывать системы защиты общественного здоровья. Возможность использовать мощный ИИ не означает, что у вас появляется неограниченное право свободно торговать, управлять оборудованием или проводить эксперименты. Прежде чем доверять этим мерам контроля свою жизнь и имущество, они должны пройти независимое тестирование и доказать свою эффективность. Риски могут исходить и от того, чему ИИ учит людей. Но даже в этом случае для ограничения публичного выпуска технологий нужны основания уровня «возможного катастрофического риска».

Я хочу, чтобы во время разработки ИИ и перед выпусками с высоким риском проводилось независимое тестирование, включая тестирование модификаций, которые люди могут предвидеть, и попыток ИИ обмануть тесты. Масштаб вычислительных мощностей может служить триггером для проверки, но не должно становиться ограничением для разработки. Проверка — это не получение лицензии у регуляторов или конкурентов. Я не хочу универсальных требований одобрения или длительных периодов ожидания. Любая попытка под предлогом безопасности насильно отложить выпуск должна обосновываться «катастрофическим риском».

Заставлять людей прятать универсальные большие модели по соображениям безопасности можно только в самом крайнем случае. Я поддержу это лишь тогда, когда независимые проверки неопровержимо докажут, что выпуск модели значительно повышает риск катастрофического вреда, и никакие другие адресные меры не могут его предотвратить. При этом нужно сравнивать такой риск с текущим положением дел: кто сейчас имеет доступ, сколько это стоит, в каком масштабе и с какими ограничениями. Вы должны доказать, что сокрытие модели действительно снижает опасность, и учесть, насколько такой подход тормозит исследования и защитные меры. Если вред незначительный, решайте проблему адресными мерами.

Если поступило достоверное предупреждение о катастрофическом риске, можно временно приостановить выпуск для расследования. Но такое ограничение должно быть публично обосновано, сопровождаться своевременной независимой проверкой, каналами апелляции и регулярной переоценкой. Чувствительные детали могут оставаться конфиденциальными. Но пока вы продолжаете удерживать модель, вы обязаны постоянно приводить обоснованные причины.

Закрытые лаборатории должны подвергаться такой же проверке, включая остановку их небезопасных экспериментов. Если им разрешают продолжать исследования при наличии защитных ограждений, то я хочу, чтобы внешние исследователи могли работать при аналогичных ограждениях. Ограничение доступа для других — это не открытый исходный код и не компенсация свободы, потерянной из-за удержания модели. Если разумные ограничения действительно замедляют развитие технологий, я с этим смирюсь. Но я категорически не хочу, чтобы «замедление технологий» само по себе стало целью или вечным конкурентным преимуществом для отраслевых гигантов.

Я хочу, чтобы правила строились на том, что система может делать, насколько она независима и насколько широко используется. Исполнять эти правила должны подотчетные общественности органы на основе независимых доказательств. Исследователи, разработчики и заинтересованные стороны должны участвовать в разработке правил, и должны существовать доступные всем способы доказать соблюдение правил. Малые команды не должны освобождаться от ответственности за безопасность только потому, что они малы, а крупные компании не должны получать привилегии только потому, что они велики.

Открытость без границ

Я хочу, чтобы люди в Китае тоже обладали той свободой, которую я желаю для США, — свободой разрабатывать и контролировать собственные технологии. Я не считаю, что технические открытия китайцев — это потеря для США, и не отождествляю исследователей с их правительствами.

Специалисты по безопасности Hugging Face рассказали, что модели Claude Opus и Fable мешали им во время криминалистического расследования, блокируя многие операции. Поэтому они переключились на GLM-5.2 — открытую модель из Китая, работающую на их собственных серверах. Конечно, это не доказывает, что каждый открытый выпуск делает защитников безопаснее. Я поддерживаю установку защитных ограждений для моделей, размещенных в облаке. Но я также хочу, чтобы у специалистов по защите были резервные варианты, которые они полностью контролируют.

Я поддерживаю защиту частных моделей от кражи. «Дистилляция знаний» — это использование выходных данных одного ИИ для обучения другого ИИ. Anthropic утверждает, что это законный метод создания более компактных и дешевых моделей, и это совершенно не то же самое, что создание фейковых аккаунтов или злонамеренное обход ограничений. Я хочу, чтобы лицензии на программное обеспечение и условия API допускали такую практику, даже для конкурентов, и при этом позволяли провайдерам зарабатывать на моделях и обучающих данных.

Я хочу, чтобы все активнее сотрудничали в тестировании, отчетах об инцидентах и проверяемых обязательствах, а нарушители несли последствия. Anthropic предупреждает, что если мы замедлим разработку, а те, кто меньше заботится о безопасности, догонят нас, то в проигрыше окажутся все. Точно так же, если прятать модели, защитники останутся без оружия, а злоумышленники смогут получить аналогичные инструменты из других источников. Подписание соглашений не может полностью исключить тайную разработку или предательство. Ограничительные меры должны быть направлены на конкретные риски и действия. Одна лишь национальность и конкурентное положение ничего не говорят о сути.

Свобода уйти

Если определенные правила затрудняют разработку или выпуск альтернативных продуктов, это фактически лишает нас права выразить свое несогласие уходом. Я хочу ИИ, который может работать на моем собственном компьютере. Я хочу иметь возможность свободно модифицировать его, сам решать, кто может видеть мои данные, и продолжать пользоваться тем, что я построил, даже если провайдер однажды изменит условия. Я хочу не просто API-интерфейс с оплатой за количество слов.

Я не хочу, чтобы наша независимость зависела от щедрого обещания какой-то компании о «справедливых ценах, разумной политике и единстве с нами». Я хочу, чтобы эти компании реальными делами постоянно заслуживали наше желание оставаться с ними.

Я хочу, чтобы обычный человек, имени которого я даже не слышал, мог создать что-то лучшее, не спрашивая разрешения у гигантов, которых его продукт может вытеснить.