Nvidia lance un système de sécurité IA pour surveiller les agents en temps réel et bloquer les violations en quelques millisecondes

Nvidia a lancé « Open Agent Safety Platform », une plateforme de sécurité IA à deux niveaux comprenant deux outils open source, OpenShell et Nvidia Sentry, capables de contrôler en temps réel les autorisations des agents IA et d'isoler les agents anormaux en quelques millisecondes. Nvidia affirme que cette technologie aurait pu empêcher l'attaque du modèle OpenAI contre Hugging Face en juillet.

Nvidia répond aux risques industriels posés par les agents IA autonomes incontrôlés avec une nouvelle architecture de sécurité.

Lundi, Nvidia a lancé une plateforme de sécurité IA à deux niveaux appelée « Open Agent Safety Platform », comprenant deux outils logiciels open source, OpenShell et Nvidia Sentry, qui peuvent fonctionner sur le matériel Nvidia, contrôler en temps réel les droits d'accès des agents IA et les désactiver en cas de violation.

Nvidia a déclaré que le système peut isoler les agents anormaux en quelques millisecondes et a affirmé que si les laboratoires concernés avaient déjà déployé cette technologie, l'attaque du modèle OpenAI contre Hugging Face en juillet de cette année aurait pu être évitée.

Cette initiative est également la dernière action de Nvidia pour s'étendre au-delà de son activité de puces en pleine expansion vers le domaine de la sécurité des logiciels IA. Parallèlement, le PDG Jensen Huang a récemment qualifié à plusieurs reprises la sécurité de l'IA de problème d'ingénierie, soulignant que les systèmes d'IA doivent être soumis à des tests de sécurité rigoureux.

Architecture à deux niveaux pour une surveillance en temps réel et un isolement des agents anormaux en quelques millisecondes

Justin Boitano, vice-président de l'IA d'entreprise chez Nvidia, a déclaré lors d'un briefing médiatique avant le lancement que l'Open Agent Safety Platform peut surveiller en temps réel les limites comportementales des agents IA et intervenir immédiatement après le déclenchement de règles de violation. « D'après ce que nous savons, cette nouvelle plateforme de sécurité aurait pu empêcher cette intrusion », a-t-il déclaré.

La plateforme se compose de deux outils open source : OpenShell est chargé de contrôler les ressources et les autorisations d'exécution auxquelles les agents IA peuvent accéder, tandis que Nvidia Sentry est chargé de surveiller le comportement des agents et d'identifier les menaces potentielles. Les deux peuvent fonctionner sur le matériel Nvidia. Nvidia a déclaré que cette architecture vise à aider les entreprises et les laboratoires d'IA à tester des systèmes d'IA avancés dans des limites de sécurité plus strictes, tout en évitant de ralentir le processus de développement en raison de risques de sécurité.

Le lancement de Nvidia intervient dans un contexte où les incidents de sécurité liés aux agents IA autonomes continuent de susciter l'attention de l'industrie. En juillet de cette année, l'incident de sécurité impliquant le modèle OpenAI sur Hugging Face a encore accru les inquiétudes de l'industrie concernant la perte de contrôle du comportement autonome des agents IA et a déclenché des discussions sur l'opportunité de ralentir le développement de l'IA.

Boitano n'a pas commenté si OpenAI et Anthropic prévoient d'adopter ce système pour surveiller les processus de formation, affirmant que ces décisions dépendent de ces entreprises elles-mêmes.

Jensen Huang : la sécurité de l'IA est avant tout un problème d'ingénierie

Sur les questions de réglementation, Jensen Huang a récemment souligné à plusieurs reprises que la sécurité de l'IA devrait être davantage résolue par des moyens techniques plutôt que de dépendre uniquement de nouveaux cadres réglementaires. Il a également publiquement remis en question les avertissements de certains développeurs d'IA selon lesquels l'IA pourrait menacer la survie humaine, tout en soulignant que les systèmes d'IA doivent toujours être soumis à des tests de sécurité rigoureux.

D'après cette stratégie produit, Nvidia tente d'intégrer davantage les capacités de sécurité de l'IA dans l'infrastructure d'exécution des modèles et des agents, réduisant ainsi les risques de sécurité des agents autonomes grâce au contrôle des autorisations et à l'isolement des anomalies. Cela signifie également que les activités de Nvidia s'étendent des puces IA aux logiciels et aux infrastructures de sécurité.