Nvidia lanza un sistema de seguridad de IA que supervisa agentes en tiempo real y bloquea infracciones en milisegundos

Nvidia ha presentado la "Open Agent Safety Platform", una plataforma de seguridad de IA de doble capa que incluye dos herramientas de código abierto, OpenShell y Nvidia Sentry, capaces de gestionar los permisos de los agentes de IA en tiempo real y aislar agentes anómalos en milisegundos. Nvidia afirma que esta tecnología podría haber evitado el ataque de un modelo de OpenAI a Hugging Face ocurrido en julio.

Nvidia responde con una nueva arquitectura de seguridad a los riesgos que plantea para la industria la pérdida de control de los agentes autónomos de IA.

El lunes, Nvidia presentó la "Open Agent Safety Platform", una plataforma de seguridad de IA de doble capa que incluye dos herramientas de software de código abierto, OpenShell y Nvidia Sentry, que pueden ejecutarse sobre el hardware de Nvidia para gestionar en tiempo real los permisos de acceso de los agentes de IA y desactivarlos en caso de infracción.

Nvidia afirma que el sistema es capaz de aislar agentes anómalos en milisegundos y que, si los laboratorios implicados hubieran desplegado esta tecnología con anterioridad, el ataque de un modelo de OpenAI a Hugging Face ocurrido en julio de este año podría haberse evitado.

Esta medida supone el último paso de Nvidia en su expansión más allá del negocio de los chips hacia el ámbito de la seguridad del software de IA. Al mismo tiempo, su consejero delegado, Jensen Huang, ha calificado en repetidas ocasiones la seguridad de la IA como un problema de ingeniería y ha subrayado que los sistemas de IA deben someterse a rigurosas pruebas de seguridad.

Arquitectura de doble capa con supervisión en tiempo real y aislamiento de agentes anómalos en milisegundos

Justin Boitano, vicepresidente de IA empresarial de Nvidia, declaró en una sesión informativa para medios previa al lanzamiento que la Open Agent Safety Platform puede supervisar en tiempo real los límites de comportamiento de los agentes de IA e intervenir de inmediato cuando se activan las reglas de infracción. "Según lo que sabemos, esta nueva plataforma de seguridad podría haber evitado aquella intrusión", afirmó.

La plataforma consta de dos herramientas de código abierto: OpenShell se encarga de controlar los recursos y los permisos de ejecución a los que pueden acceder los agentes de IA, mientras que Nvidia Sentry supervisa el comportamiento de los agentes e identifica posibles amenazas. Ambas pueden ejecutarse sobre el hardware de Nvidia. Nvidia afirma que esta arquitectura está diseñada para ayudar a las empresas y a los laboratorios de IA a probar sistemas avanzados de IA dentro de límites de seguridad más estrictos, sin ralentizar el ritmo de desarrollo por motivos de seguridad.

El lanzamiento de Nvidia se produce en un contexto en el que los incidentes de seguridad relacionados con agentes autónomos de IA siguen generando preocupación en el sector. En julio de este año, el incidente de seguridad de un modelo de OpenAI en Hugging Face intensificó aún más los temores sobre la pérdida de control del comportamiento autónomo de los agentes de IA y avivó el debate sobre si debería ralentizarse el desarrollo de la IA.

Boitano no quiso comentar si OpenAI y Anthropic tienen previsto adoptar este sistema para supervisar sus procesos de entrenamiento, y señaló que esa decisión corresponde a las propias empresas.

Jensen Huang: la seguridad de la IA es ante todo un problema de ingeniería

En materia regulatoria, Jensen Huang ha insistido recientemente en que la seguridad de la IA debería abordarse más mediante soluciones técnicas que dependiendo únicamente de nuevos marcos regulatorios. También ha cuestionado públicamente las advertencias de algunos desarrolladores de IA sobre la posibilidad de que la IA amenace la existencia humana, al tiempo que ha subrayado que los sistemas de IA deben someterse a rigurosas pruebas de seguridad.

A juzgar por esta estrategia de producto, Nvidia está intentando integrar aún más las capacidades de seguridad de la IA en la infraestructura de ejecución de modelos y agentes, reduciendo los riesgos de seguridad de los agentes autónomos mediante el control de permisos y el aislamiento de anomalías. Esto también significa que el alcance del negocio de Nvidia se está extendiendo de los chips de IA al software y a la infraestructura de seguridad.