Nvidia представила систему ИИ-безопасности: мониторинг агентов в реальном времени и блокировка нарушений за миллисекунды

Nvidia выпустила двухуровневую платформу ИИ-безопасности «Open Agent Safety Platform», включающую два инструмента с открытым исходным кодом — OpenShell и Nvidia Sentry, которые позволяют в реальном времени управлять правами доступа ИИ-агентов и изолировать аномальных агентов за миллисекунды. По заявлению Nvidia, эта технология могла бы предотвратить июльскую атаку модели OpenAI на Hugging Face.

Nvidia отвечает на отраслевые риски, связанные с потерей контроля над автономными ИИ-агентами, новой архитектурой безопасности.

В понедельник Nvidia представила двухуровневую платформу ИИ-безопасности под названием «Open Agent Safety Platform», включающую два программных инструмента с открытым исходным кодом — OpenShell и Nvidia Sentry, которые могут работать на оборудовании Nvidia, в реальном времени управлять правами доступа ИИ-агентов и отключать их при нарушениях.

Nvidia заявила, что система способна изолировать аномальных агентов за миллисекунды, и отметила, что если бы соответствующие лаборатории заранее внедрили эту технологию, июльскую атаку модели OpenAI на Hugging Face можно было бы предотвратить.

Этот шаг также является последним действием Nvidia по расширению присутствия в сфере безопасности ИИ-программного обеспечения за пределами постоянно растущего чипового бизнеса. В то же время генеральный директор Дженсен Хуанг в последнее время неоднократно рассматривал безопасность ИИ как инженерную проблему, подчеркивая, что системы ИИ должны проходить строгие испытания на безопасность.

Двухуровневая архитектура с мониторингом в реальном времени и изоляцией аномальных агентов за миллисекунды

Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано на брифинге для СМИ перед запуском заявил, что Open Agent Safety Platform способна в реальном времени отслеживать границы поведения ИИ-агентов и немедленно вмешиваться при срабатывании правил нарушения. «Насколько нам известно, эта новая платформа безопасности могла бы предотвратить то вторжение», — сказал он.

Платформа состоит из двух инструментов с открытым исходным кодом: OpenShell отвечает за контроль ресурсов и прав выполнения, к которым могут обращаться ИИ-агенты, а Nvidia Sentry — за мониторинг поведения агентов и выявление потенциальных угроз. Оба могут работать на оборудовании Nvidia. По словам Nvidia, эта архитектура призвана помочь предприятиям и лабораториям ИИ тестировать передовые системы ИИ в более строгих границах безопасности, не замедляя при этом процесс разработки из-за рисков безопасности.

Выпуск Nvidia происходит на фоне того, что инциденты безопасности, связанные с автономными ИИ-агентами, продолжают привлекать внимание отрасли. В июле этого года инцидент безопасности с моделью OpenAI на Hugging Face еще больше усилил обеспокоенность отрасли по поводу потери контроля над автономным поведением ИИ-агентов и вызвал дискуссии о том, следует ли замедлять разработку ИИ.

Бойтано отказался комментировать, планируют ли OpenAI и Anthropic внедрить эту систему для мониторинга процессов обучения, заявив, что соответствующие решения зависят от самих компаний.

Дженсен Хуанг: безопасность ИИ — это прежде всего инженерная проблема

Что касается регулирования, Хуанг в последнее время неоднократно подчеркивал, что безопасность ИИ следует решать в большей степени техническими средствами, а не полагаться исключительно на новые нормативные рамки. Он также публично ставил под сомнение предупреждения некоторых разработчиков ИИ о том, что ИИ может угрожать выживанию человечества, одновременно подчеркивая, что системы ИИ все равно должны проходить строгие испытания на безопасность.

Судя по нынешнему позиционированию продукта, Nvidia пытается еще глубже встроить возможности безопасности ИИ в инфраструктуру выполнения моделей и работы агентов, снижая риски безопасности автономных агентов за счет контроля прав и изоляции аномалий. Это также означает, что бизнес Nvidia выходит за рамки чипов ИИ и распространяется на сферу программного обеспечения и инфраструктуры безопасности.