NVIDIAがAI安全システム発表：エージェントをリアルタイム監視、ミリ秒単位で違反行為を阻止

NVIDIAは「Open Agent Safety Platform」という二層AI安全プラットフォームを発表した。OpenShellとNvidia Sentryの2つのオープンソースツールで構成され、AIエージェントの権限をリアルタイムで管理し、異常なエージェントをミリ秒単位で隔離する。NVIDIAによると、この技術があれば7月にOpenAIモデルがHugging Faceを攻撃した事件を防げたという。

NVIDIAは、自律型AIエージェントの制御不能がもたらす業界リスクに対し、新たな安全アーキテクチャで応えようとしている。

月曜日、NVIDIAは「Open Agent Safety Platform」という二層AI安全プラットフォームを発表した。OpenShellとNvidia Sentryという2つのオープンソースソフトウェアツールで構成され、NVIDIAハードウェア上で動作し、AIエージェントのアクセス権限をリアルタイムで管理し、違反時にはシャットダウンする。

NVIDIAによると、このシステムは異常なエージェントをミリ秒単位で隔離でき、関連する研究所がこの技術を事前に導入していれば、今年7月にOpenAIモデルがHugging Faceを攻撃した事件は防げたはずだとしている。

この動きは、NVIDIAがチップ事業の拡大に加えて、AIソフトウェアセキュリティ分野へと事業を広げる最新の取り組みでもある。同時に、CEOのジェンスン・フアン氏は最近、AIの安全性をエンジニアリングの問題として捉え、AIシステムには厳格な安全テストが必要だと繰り返し強調している。

二層アーキテクチャでリアルタイム監視、異常エージェントをミリ秒単位で隔離

NVIDIAのエンタープライズAI担当バイスプレジデント、ジャスティン・ボイタノ氏は発表前のメディアブリーフィングで、Open Agent Safety PlatformはAIエージェントの行動境界をリアルタイムで監視し、違反ルールが発動されると即座に介入すると述べた。「我々が把握している限り、この新しい安全プラットフォームがあれば、あの侵入は防げたはずだ」と同氏は語った。

プラットフォームは2つのオープンソースツールで構成される。OpenShellはAIエージェントがアクセスできるリソースと実行権限を制御し、Nvidia Sentryはエージェントの行動を監視して潜在的な脅威を識別する。どちらもNVIDIAハードウェア上で動作する。NVIDIAによると、このアーキテクチャは、企業やAI研究所がより厳格な安全境界内で高度なAIシステムをテストしつつ、安全リスクを理由に研究開発のペースを落とすことを避けるためのものだという。

今回の発表の背景には、自律型AIエージェントに関連する安全インシデントが業界の注目を集め続けていることがある。今年7月、Hugging FaceでOpenAIモデルによる安全インシデントが発生し、AIエージェントの自律的行動の制御不能に対する懸念がさらに高まり、AI開発を減速すべきかどうかの議論が巻き起こった。

OpenAIとAnthropicがトレーニングプロセスの監視にこのシステムを採用する計画があるかどうかについて、ボイタノ氏はコメントを控え、その判断は各社に委ねられると述べた。

ジェンスン・フアン氏：AIの安全性はまずエンジニアリングの問題

規制問題に関して、フアン氏は最近、AIの安全性は新たな規制枠組みに頼るのではなく、技術的手段によって解決されるべきだと繰り返し強調している。また、一部のAI開発者がAIは人類の生存を脅かす可能性があると警告していることについて公に疑問を呈する一方で、AIシステムは依然として厳格な安全テストを受ける必要があると強調している。

今回の製品展開から見ると、NVIDIAはAI安全機能をモデル実行やエージェント実行のインフラストラクチャにさらに組み込み、権限制御と異常隔離によって自律エージェントの安全リスクを低減しようとしている。これは、NVIDIAの事業範囲がAIチップからソフトウェアおよびセキュリティインフラストラクチャ分野へとさらに拡大していることを意味する。