Nvidia, AI ajanlarını milisaniyeler içinde engelleyen güvenlik sistemi tanıttı

Nvidia, OpenShell ve Nvidia Sentry adlı iki açık kaynaklı araçtan oluşan "Open Agent Safety Platform" adlı iki katmanlı bir yapay zeka güvenlik platformunu duyurdu. Platform, AI ajanlarının erişim izinlerini gerçek zamanlı olarak yönetiyor ve anormal ajanları milisaniyeler içinde izole ediyor. Nvidia, bu teknolojinin Temmuz ayında OpenAI modelinin Hugging Face'e yönelik saldırısını önleyebileceğini belirtti.

Nvidia, otonom AI ajanlarının kontrolden çıkmasıyla ortaya çıkan sektör risklerine yeni bir güvenlik mimarisiyle yanıt veriyor.

Pazartesi günü Nvidia, "Open Agent Safety Platform" adlı iki katmanlı bir yapay zeka güvenlik platformunu duyurdu. OpenShell ve Nvidia Sentry adlı iki açık kaynaklı yazılım aracını içeren platform, Nvidia donanımı üzerinde çalışarak AI ajanlarının erişim izinlerini gerçek zamanlı olarak yönetiyor ve ihlal durumunda bunları kapatıyor.

Nvidia, sistemin anormal ajanları milisaniyeler içinde izole edebildiğini ve ilgili laboratuvarların bu teknolojiyi daha önce devreye almış olması halinde, bu yıl Temmuz ayında OpenAI modelinin Hugging Face'e yönelik saldırısının önlenebileceğini belirtti.

Bu hamle, Nvidia'nın çip işini genişletmenin ötesinde yapay zeka yazılım güvenliği alanına yaptığı en son adım. Aynı dönemde CEO Jensen Huang, yapay zeka güvenliğini bir mühendislik sorunu olarak defalarca gündeme getirdi ve yapay zeka sistemlerinin sıkı güvenlik testlerinden geçmesi gerektiğini vurguladı.

İki katmanlı mimari gerçek zamanlı izleme ve milisaniyeler içinde anormal ajan izolasyonu sağlıyor

Nvidia Kurumsal Yapay Zeka Başkan Yardımcısı Justin Boitano, lansman öncesi medya brifinginde Open Agent Safety Platform'un AI ajanlarının davranış sınırlarını gerçek zamanlı olarak izleyebildiğini ve ihlal kuralları tetiklendiğinde anında müdahale ettiğini söyledi. "Bildiklerimize göre, bu yeni güvenlik platformu o saldırıyı önleyebilirdi" dedi.

Platform iki açık kaynaklı araçtan oluşuyor: OpenShell, AI ajanlarının erişebileceği kaynakları ve yürütme izinlerini kontrol ederken, Nvidia Sentry ajan davranışlarını izleyip potansiyel tehditleri tespit ediyor. Her ikisi de Nvidia donanımı üzerinde çalışabiliyor. Nvidia, bu mimarinin işletmelerin ve yapay zeka laboratuvarlarının gelişmiş yapay zeka sistemlerini daha sıkı güvenlik sınırları içinde test etmelerine yardımcı olmayı ve güvenlik riskleri nedeniyle Ar-Ge sürecini yavaşlatmaktan kaçınmayı amaçladığını belirtti.

Nvidia'nın bu duyurusu, otonom AI ajanlarıyla ilgili güvenlik olaylarının sektörde endişe yaratmaya devam ettiği bir dönemde geldi. Bu yıl Temmuz ayında OpenAI modelinin Hugging Face'te yaşadığı güvenlik olayı, AI ajanlarının otonom davranışlarının kontrolden çıkmasına yönelik endişeleri daha da artırdı ve yapay zeka geliştirmenin yavaşlatılıp yavaşlatılmaması gerektiği tartışmalarını alevlendirdi.

Boitano, OpenAI ve Anthropic'in eğitim süreçlerini izlemek için bu sistemi benimsemeyi planlayıp planlamadığı konusunda yorum yapmadı ve bu kararların ilgili şirketlere bağlı olduğunu söyledi.

Jensen Huang: Yapay zeka güvenliği öncelikle bir mühendislik sorunudur

Düzenleme konusunda Jensen Huang, yapay zeka güvenliğinin yeni düzenleyici çerçevelere dayanmak yerine daha çok teknik yollarla çözülmesi gerektiğini defalarca vurguladı. Ayrıca bazı yapay zeka geliştiricilerinin yapay zekanın insanlığın varlığını tehdit edebileceği yönündeki uyarılarını açıkça sorguladı ve yapay zeka sistemlerinin yine de sıkı güvenlik testlerinden geçmesi gerektiğini belirtti.

Bu ürün stratejisine bakıldığında Nvidia, yapay zeka güvenlik yeteneklerini model çalıştırma ve ajan yürütme altyapısına daha fazla entegre etmeye çalışıyor; izin kontrolü ve anormallik izolasyonu yoluyla otonom ajanların güvenlik risklerini azaltmayı hedefliyor. Bu aynı zamanda Nvidia'nın iş kapsamının yapay zeka çiplerinden yazılım ve güvenlik altyapısı alanına doğru genişlediği anlamına geliyor.