Nvidia เปิดตัวระบบความปลอดภัย AI: ตรวจสอบเอเจนต์ AI แบบเรียลไทม์ บล็อกการละเมิดในระดับมิลลิวินาที

Nvidia เปิดตัว "Open Agent Safety Platform" แพลตฟอร์มความปลอดภัย AI สองชั้น ประกอบด้วยเครื่องมือโอเพนซอร์สสองตัวคือ OpenShell และ Nvidia Sentry ซึ่งสามารถควบคุมสิทธิ์การเข้าถึงของเอเจนต์ AI แบบเรียลไทม์ และแยกเอเจนต์ที่ผิดปกติออกในระดับมิลลิวินาที Nvidia ระบุว่าเทคโนโลยีนี้สามารถป้องกันเหตุการณ์ที่โมเดล OpenAI โจมตี Hugging Face เมื่อเดือนกรกฎาคมได้

Nvidia กำลังตอบสนองต่อความเสี่ยงในอุตสาหกรรมจากการสูญเสียการควบคุมของเอเจนต์ AI อัตโนมัติด้วยสถาปัตยกรรมความปลอดภัยใหม่

เมื่อวันจันทร์ Nvidia เปิดตัวแพลตฟอร์มความปลอดภัย AI สองชั้นชื่อ "Open Agent Safety Platform" ประกอบด้วยเครื่องมือซอฟต์แวร์โอเพนซอร์สสองตัวคือ OpenShell และ Nvidia Sentry ซึ่งสามารถทำงานบนฮาร์ดแวร์ของ Nvidia ควบคุมสิทธิ์การเข้าถึงของเอเจนต์ AI แบบเรียลไทม์ และปิดการทำงานเมื่อมีการละเมิด

Nvidia ระบุว่าระบบสามารถแยกเอเจนต์ที่ผิดปกติออกในระดับมิลลิวินาที และกล่าวว่าหากห้องปฏิบัติการที่เกี่ยวข้องได้ติดตั้งเทคโนโลยีนี้ไว้ก่อนหน้านี้ เหตุการณ์ที่โมเดล OpenAI โจมตี Hugging Face เมื่อเดือนกรกฎาคมก็สามารถป้องกันได้

การเคลื่อนไหวนี้เป็นความคืบหน้าล่าสุดของ Nvidia ในการขยายธุรกิจจากชิปไปสู่ด้านความปลอดภัยซอฟต์แวร์ AI ขณะเดียวกัน ซีอีโอ Jensen Huang ได้กล่าวหลายครั้งเมื่อเร็วๆ นี้ว่าความปลอดภัยของ AI เป็นปัญหาทางวิศวกรรม และเน้นว่าระบบ AI ต้องผ่านการทดสอบความปลอดภัยอย่างเข้มงวด

สถาปัตยกรรมสองชั้นตรวจสอบแบบเรียลไทม์ แยกเอเจนต์ผิดปกติในระดับมิลลิวินาที

Justin Boitano รองประธานฝ่าย AI สำหรับองค์กรของ Nvidia กล่าวในการบรรยายสรุปสื่อก่อนการเปิดตัวว่า Open Agent Safety Platform สามารถตรวจสอบขอบเขตพฤติกรรมของเอเจนต์ AI แบบเรียลไทม์ และแทรกแซงทันทีเมื่อมีการละเมิดกฎ "จากข้อมูลที่เรามี แพลตฟอร์มความปลอดภัยใหม่นี้สามารถป้องกันการบุกรุกครั้งนั้นได้" เขากล่าว

แพลตฟอร์มประกอบด้วยเครื่องมือโอเพนซอร์สสองตัว: OpenShell รับผิดชอบควบคุมทรัพยากรที่เอเจนต์ AI เข้าถึงได้และสิทธิ์การดำเนินการ ส่วน Nvidia Sentry รับผิดชอบตรวจสอบพฤติกรรมของเอเจนต์และระบุภัยคุกคามที่อาจเกิดขึ้น ทั้งสองตัวสามารถทำงานบนฮาร์ดแวร์ของ Nvidia Nvidia กล่าวว่าสถาปัตยกรรมนี้มีเป้าหมายเพื่อช่วยให้องค์กรและห้องปฏิบัติการ AI ทดสอบระบบ AI ขั้นสูงภายในขอบเขตความปลอดภัยที่เข้มงวดขึ้น โดยไม่ทำให้การวิจัยและพัฒนาล่าช้าเพราะความเสี่ยงด้านความปลอดภัย

การเปิดตัวครั้งนี้ของ Nvidia เกิดขึ้นท่ามกลางความกังวลอย่างต่อเนื่องในอุตสาหกรรมเกี่ยวกับเหตุการณ์ความปลอดภัยที่เกี่ยวข้องกับเอเจนต์ AI อัตโนมัติ เหตุการณ์ความปลอดภัยที่เกี่ยวข้องกับโมเดล OpenAI บน Hugging Face เมื่อเดือนกรกฎาคมยิ่งเพิ่มความกังวลเกี่ยวกับการสูญเสียการควบคุมพฤติกรรมอัตโนมัติของเอเจนต์ AI และทำให้เกิดการถกเถียงว่าควรชะลอการพัฒนา AI หรือไม่

Boitano ไม่ให้ความเห็นว่า OpenAI และ Anthropic มีแผนจะใช้ระบบนี้ในการตรวจสอบกระบวนการฝึกหรือไม่ โดยกล่าวว่าการตัดสินใจขึ้นอยู่กับบริษัทเหล่านั้น

Jensen Huang: ความปลอดภัยของ AI เป็นปัญหาทางวิศวกรรมเป็นอันดับแรก

ในด้านการกำกับดูแล Jensen Huang ได้เน้นหลายครั้งเมื่อเร็วๆ นี้ว่าความปลอดภัยของ AI ควรแก้ไขด้วยวิธีการทางเทคนิคมากกว่าการพึ่งพากรอบการกำกับดูแลใหม่เพียงอย่างเดียว เขายังเคยตั้งคำถามในที่สาธารณะเกี่ยวกับคำเตือนของนักพัฒนา AI บางรายที่ว่า AI อาจคุกคามการอยู่รอดของมนุษย์ พร้อมทั้งเน้นว่าระบบ AI ยังต้องผ่านการทดสอบความปลอดภัยอย่างเข้มงวด

จากการวางกลยุทธ์ผลิตภัณฑ์ครั้งนี้ Nvidia กำลังพยายามฝังความสามารถด้านความปลอดภัยของ AI ลงในโครงสร้างพื้นฐานการรันโมเดลและการดำเนินการของเอเจนต์มากขึ้น เพื่อลดความเสี่ยงด้านความปลอดภัยของเอเจนต์อัตโนมัติผ่านการควบคุมสิทธิ์และการแยกความผิดปกติ ซึ่งหมายความว่าธุรกิจของ Nvidia กำลังขยายจากชิป AI ไปสู่ซอฟต์แวร์และโครงสร้างพื้นฐานด้านความปลอดภัย