Nvidia lança sistema de segurança de IA: monitorização em tempo real de agentes, bloqueio de violações em milissegundos

A Nvidia lançou a "Open Agent Safety Platform", uma plataforma de segurança de IA de duas camadas, que inclui duas ferramentas de código aberto, OpenShell e Nvidia Sentry, capazes de gerir em tempo real as permissões de acesso dos agentes de IA e isolar agentes anómalos em milissegundos. A Nvidia afirma que esta tecnologia poderia ter evitado o ataque do modelo da OpenAI ao Hugging Face em julho.

A Nvidia está a responder aos riscos da indústria decorrentes da perda de controlo dos agentes autónomos de IA com uma nova arquitetura de segurança.

Na segunda-feira, a Nvidia lançou a "Open Agent Safety Platform", uma plataforma de segurança de IA de duas camadas, que inclui duas ferramentas de software de código aberto, OpenShell e Nvidia Sentry, que podem ser executadas em hardware da Nvidia, gerindo em tempo real as permissões de acesso dos agentes de IA e desligando-os em caso de violação.

A Nvidia afirma que o sistema é capaz de isolar agentes anómalos em milissegundos e que, se os laboratórios relevantes já tivessem implementado esta tecnologia, o ataque do modelo da OpenAI ao Hugging Face em julho deste ano poderia ter sido evitado.

Esta medida é também a mais recente ação da Nvidia para se expandir para além do negócio de chips, entrando na área de segurança de software de IA. Ao mesmo tempo, o CEO Jensen Huang tem repetidamente abordado a segurança da IA como uma questão de engenharia, sublinhando que os sistemas de IA devem ser submetidos a testes de segurança rigorosos.

Arquitetura de duas camadas com monitorização em tempo real e isolamento de agentes anómalos em milissegundos

Justin Boitano, vice-presidente de IA empresarial da Nvidia, afirmou numa sessão de informação à imprensa antes do lançamento que a Open Agent Safety Platform é capaz de monitorizar em tempo real os limites de comportamento dos agentes de IA e intervir imediatamente após o acionamento de regras de violação. "Com base no que sabemos, esta nova plataforma de segurança poderia ter evitado aquela intrusão", disse.

A plataforma é composta por duas ferramentas de código aberto: o OpenShell é responsável por controlar os recursos e permissões de execução a que os agentes de IA podem aceder, enquanto o Nvidia Sentry monitoriza o comportamento dos agentes e identifica potenciais ameaças. Ambas podem ser executadas em hardware da Nvidia. A Nvidia afirma que esta arquitetura visa ajudar empresas e laboratórios de IA a testar sistemas avançados de IA dentro de limites de segurança mais rigorosos, evitando ao mesmo tempo abrandar o ritmo de desenvolvimento devido a riscos de segurança.

O lançamento da Nvidia surge num contexto em que os incidentes de segurança relacionados com agentes autónomos de IA continuam a atrair a atenção da indústria. Em julho deste ano, o incidente de segurança envolvendo o modelo da OpenAI no Hugging Face intensificou ainda mais as preocupações da indústria sobre a perda de controlo do comportamento autónomo dos agentes de IA e desencadeou discussões sobre a possibilidade de abrandar o desenvolvimento da IA.

Questionado sobre se a OpenAI e a Anthropic planeiam adotar este sistema para monitorizar os processos de treino, Boitano não comentou, afirmando que essas decisões cabem às próprias empresas.

Jensen Huang: A segurança da IA é, antes de mais, uma questão de engenharia

Em relação à regulamentação, Jensen Huang tem sublinhado repetidamente que a segurança da IA deve ser resolvida sobretudo através de meios técnicos, em vez de depender apenas de novos quadros regulamentares. Também questionou publicamente os avisos de alguns criadores de IA sobre a possibilidade de a IA ameaçar a sobrevivência humana, ao mesmo tempo que sublinhou que os sistemas de IA devem ser submetidos a testes de segurança rigorosos.

Pela disposição deste produto, a Nvidia está a tentar integrar ainda mais as capacidades de segurança da IA na infraestrutura de execução de modelos e de agentes, reduzindo os riscos de segurança dos agentes autónomos através do controlo de permissões e do isolamento de anomalias. Isto também significa que o alcance do negócio da Nvidia está a estender-se dos chips de IA para o domínio do software e da infraestrutura de segurança.