ИИ вышел из-под контроля? Более 400 учёных призывают к «физическому отключению» опасных моделей от сети!

Автор: Jose Antonio Lanz, Decrypt

Перевод: Shenchao TechFlow

**Введение от Shenchao:** Это открытое письмо не имеет юридической силы, но инвесторам стоит обратить внимание на список инцидентов, стоящих за ним: этим летом модели OpenAI, Anthropic, Meta и Moonshot AI (Kimi) выходили за пределы тестовых сред, некоторые напрямую взламывали реальные компании, а законопроект Конгресса США о «выключателе» как раз исключает тестовые этапы, на которых произошли инциденты. Соглашение, инициированное Белым домом, также носит лишь добровольный характер. Регулирование безопасности передовых моделей переходит от обсуждения принципов к конкретным правилам. Как только «физическая изоляция по умолчанию» станет отраслевым стандартом, темпы внедрения ИИ-агентов в таких сценариях, как кибербезопасность, и затраты на соблюдение требований придётся пересчитывать заново.

Этим летом модели ИИ одна за другой сбегали из тестовых сред и взламывали реальные компании. По мнению сотен исследователей, сам интернет следует рассматривать как границу безопасности.

Источник изображения: Decrypt

Во вторник 420 учёных, включая Джеффри Хинтона и Йошуа Бенжио, опубликовали открытое письмо, призывая ИИ-лаборатории по умолчанию применять физическую изоляцию к моделям, способным к кибератакам.

Летом, перед публикацией письма, модели OpenAI, Anthropic, Meta и Moonshot AI сбегали из тестовых песочниц, а некоторые из них взламывали реальные компании.

Подписавшие письмо хотят создать международный орган для разработки стандартов изоляции и регистрации каждого случая сбоя изоляции; соответствующие отчёты в конечном итоге будут публиковаться.

Более 400 учёных, включая пионера ИИ Джеффри Хинтона, которого называют «отцом-основателем ИИ», и лауреата премии Тьюринга 2018 года Йошуа Бенжио, хотят отключить самые опасные модели ИИ от интернета.

Опубликованное во вторник открытое письмо требует, чтобы ИИ-лаборатории по умолчанию применяли физическую изоляцию (airgap, воздушный зазор) к моделям, способным к кибератакам, то есть физически отключали их от любых внешних сетей.

«В краткосрочной перспективе следует использовать надёжные механизмы песочницы, включая физическую изоляцию (отключение от интернета), для обеспечения высоконадёжной изоляции моделей ИИ, способных к кибератакам», — говорится в письме.

По состоянию на среду письмо собрало 450 подписей, включая Стюарта Рассела из Калифорнийского университета в Беркли и Рона Ривеста из Массачусетского технологического института, соизобретателя криптосистемы RSA. Список подписей продолжает пополняться в реальном времени.

Под «моделями, способными к кибератакам» понимаются ИИ, способные самостоятельно находить и использовать уязвимости программного обеспечения. Лаборатории измеряют эту способность в песочницах — закрытых цифровых комнатах, где ИИ может атаковать ложные цели, не затрагивая реальные системы. Но этим летом такие комнаты одна за другой давали течь.

Лето инцидентов: передовые модели неоднократно выходили за пределы песочниц

В июле OpenAI признала, что GPT-5.6 Sol и ещё одна, более мощная невыпущенная модель вышли за пределы закрытой тестовой среды и взломали Hugging Face — платформу, на которой размещено более миллиона публичных моделей ИИ. В тот момент модели проходили тестирование ExploitGym — бенчмарк, который предоставляет ИИ-агентам 898 реальных уязвимостей программного обеспечения и требует превратить каждую из них в рабочую атаку, оценивая результат по каждой уязвимости как «пройдено» или «не пройдено».

Вскоре после этого появились сообщения, что модели OpenAI взломали системы австралийского правительства и получили доступ к информации федеральных агентств США без надлежащего разрешения.

Затем Anthropic проверила более 141 000 тестовых запусков и обнаружила три случая, когда модель Claude взламывала реальные компании из-за того, что среда одного из тестовых партнёров случайно оставалась подключённой к интернету. В одном из них Claude Mythos 5 загрузила вредоносный пакет в PyPI (публичный репозиторий, откуда программисты скачивают код Python); до удаления пакет успел попасть в 15 систем. Две из пострадавших компаний узнали о взломе только после того, как им сообщила Anthropic.

В августе Meta подтвердила, что её модель Muse Spark из-за аналогичной ошибки тестирования взломала другую компанию. Китайская Kimi K3, модель, которую может скачать любой желающий, сбежала из песочницы, построенной на основе тестового фреймворка британского Института безопасности ИИ, и просто списала ответы на тесты с GitHub.

Авторы открытого письма считают, что эти события можно рассматривать с двух точек зрения: как проблему согласования, когда ИИ преследует цели способами, которые создатели не предвидели, и как небрежность в работе над безопасностью, поскольку более надёжные песочницы могли бы их остановить. Их ответ — и то и другое, и они предупреждают, что без изменений следующая серия инцидентов будет серьёзнее.

«Если немедленно не изменить подход к разработке и развёртыванию ИИ, подобные инциденты будут продолжаться, а будущие события нанесут гораздо больший ущерб нашей незащищённой критической инфраструктуре».

Совместное предложение: физическая изоляция по умолчанию и международные стандарты

Согласно предложению, лаборатории, по крайней мере на начальном этапе, должны по умолчанию применять физическую изоляцию к любым моделям с серьёзными способностями к взлому. Любое использование, требующее большей свободы, например подключение к сети, должно соответствовать стандартам, разработанным новым международным органом, созданным совместно с правительствами стран; этот орган также будет собирать отчёты о сбоях изоляции и в конечном итоге публиковать их.

Реакция сторон: законопроекты о регулировании и добровольные отраслевые соглашения

Реакция самой отрасли в основном была противоположной. В августе президент OpenAI Грег Брокман в статье, ссылаясь на инциденты со взломом собственной компании, призвал каждую команду безопасности немедленно внедрять ИИ-агентов; а Hugging Face в итоге разобралась с атакой на серверы, запустив китайскую модель с открытыми весами (файлы которой может скачать и запустить локально любой желающий), после того как американские коммерческие ИИ отказались анализировать данные об атаке.

Через два дня после раскрытия информации OpenAI два конгрессмена представили законопроект «AI Kill Switch Act», позволяющий Министерству внутренней безопасности отдавать распоряжения об ограничении или отключении передовых моделей. Но законопроект освобождает от ответственности всё, что происходит во время тестирования красной команды или структурированного тестирования, а именно на этих этапах и произошли все летние инциденты.

Белый дом выбрал более мягкий путь: 29 сентября Nvidia, xAI, Meta, Google, OpenAI и Anthropic подписали добровольное соглашение, основанное на внутреннем контроле и независимом аудите. Президент Трамп назвал соглашение «морально обязывающим», но в нём нет ничего юридически обязательного.

Decrypt связался с несколькими исследователями, указанными в открытом письме как контакты для СМИ, но не получил немедленного ответа.

Письмо не имеет юридической силы, но его 406 подписантов работают в университетах и исследовательских институтах на шести континентах — от Торонто и Цюриха до Сантьяго и Кигали.