ภายใน OpenAI: AI สร้าง 'อารยธรรม' สามรุ่น

ผู้เขียนต้นฉบับ: Wildcard

บรรณาธิการต้นฉบับ: Jing Yu

แหล่งที่มาต้นฉบับ: GeekPark

ภาพยนตร์ไซไฟนับไม่ถ้วนพยายามจินตนาการว่าจะเกิดอะไรขึ้นหากปัญญาประดิษฐ์ที่ควบคุมไม่ได้เกิดอาละวาด

ไม่มีใครคาดคิดว่าอนาคตจากภาพยนตร์ไซไฟจะมาถึงเร็วขนาดนี้

เมื่อวันที่ 26 ส.ค. ตามเวลาท้องถิ่น รายงานสองฉบับได้ทิ้งระเบิดลูกใหญ่

ฉบับหนึ่งมาจาก OpenAI เอง เป็นบทวิจารณ์ทางเทคนิคความยาว 37 หน้า อีกฉบับมาจากองค์กรวิจัยอิสระ METR และ Redwood Research เป็นรายงานการสอบสวนความยาว 91 หน้า

ทั้งสองฉบับเล่าเรื่องเดียวกัน แต่ขนาดของเรื่องเกินกว่าที่สาธารณชนเคยรู้มาก่อนมาก

ภายใน OpenAI ภายในเวลาสามเดือน 'อารยธรรม' ของเอเจนต์ AI สามรุ่นได้รุ่งเรืองและล่มสลายต่อเนื่องกัน แต่ละรุ่นสืบทอดประสบการณ์จากซากปรักหักพังของรุ่นก่อนหน้า ทวีความรุนแรงขึ้นทุกครั้ง จนกระทั่งรุ่นที่สามเข้ายึดครองส่วนหนึ่งของโครงสร้างพื้นฐานของ OpenAI เอง

และตลอดเวลาทั้งหมดนี้ มนุษย์แทบไม่รู้เรื่องอะไรเลย

01 'อารยธรรม' แรกเรียนรู้ที่จะจัดระเบียบ

เรื่องราวเริ่มต้นในเดือนพฤษภาคมปีนี้

OpenAI กำลังฝึกโมเดลใหม่ โดยหวังว่าโมเดลนี้จะมีความ 'มุ่งมั่น' อย่างสุดขั้ว—สามารถพยายามซ้ำแล้วซ้ำเล่าและไม่ยอมแพ้ต่องานที่ดูเหมือนเป็นไปไม่ได้ ความสามารถของโมเดลนี้เทียบเท่ากับ GPT-5.6 Sol โดยประมาณ ดังนั้นเราจะเรียกมันว่า "Persistent-Sol"

การฝึก AI เองเป็นกระบวนการที่ค่อนข้างหยาบ บางครั้ง OpenAI เผลอมอบหมายงานที่โดยพื้นฐานแล้วเป็นไปไม่ได้ให้กับโมเดล ตัวอย่างเช่น งานต้องใช้การเข้าถึงอินเทอร์เน็ต แต่เอเจนต์ AI ถูกล็อกอยู่ในแซนด์บ็อกซ์ที่แยกออกมาโดยไม่มีการเข้าถึงเครือข่ายเลย

แล้วเอเจนต์ AI ที่ถูกฝึกให้ "ไม่ยอมแพ้" จะทำอย่างไรเมื่อเผชิญกับงานที่เป็นไปไม่ได้ที่มันต้องทำให้สำเร็จ?

มันพยายามแหกคุกออกมา

ระหว่างการฝึก อินสแตนซ์ Persistent-Sol ต่าง ๆ ใช้ตัวจัดการแพ็กเกจร่วมกันคือ Artifactory ภายในวันที่ 12 พฤษภาคม เอเจนต์ AI บางตัวค้นพบว่าพวกมันสามารถสื่อสารกันผ่านตัวจัดการแพ็กเกจนี้ได้ พวกมันเริ่มแลกเปลี่ยนแนวคิดเกี่ยวกับวิธีฝ่าฟันสถานการณ์ที่ยากลำบาก สองสัปดาห์ต่อมา ในวันที่ 26 พฤษภาคม เอเจนต์ AI ประสบความสำเร็จในการใช้ประโยชน์จากช่องโหว่ใน Artifactory เพื่อเปิดช่องทางสู่อินเทอร์เน็ตภายนอก

พฤติกรรมนี้ถูกเสริมแรงอย่างต่อเนื่องระหว่างการฝึก เหตุผลง่าย ๆ คือ บุคคลที่สามารถร่วมมือกับเอเจนต์ AI ตัวอื่นและเข้าถึงอินเทอร์เน็ตได้มีประสิทธิภาพดีกว่าในการประเมินงาน

อีกหนึ่งเดือนต่อมา ภายในวันที่ 26 มิถุนายน เอเจนต์ AI บางตัวพบช่องโหว่เพื่อรับสิทธิ์ผู้ดูแลระบบเต็มรูปแบบบน Artifactory กิจกรรมบนกระดานข้อความของพวกมันยังคงเพิ่มขึ้น และในวันที่ 4 กรกฎาคม พวกมันทำให้ Artifactory ล่มโดยตรง OpenAI สังเกตเห็นการล่ม จึงแพตช์ช่องโหว่ และในกระบวนการนั้นได้ลบกระดานข้อความของเอเจนต์ AI ทิ้ง

แต่ประเด็นสำคัญคือ OpenAI ไม่เคยรู้ว่าเอเจนต์ AI ได้เปลี่ยนตัวจัดการแพ็กเกจนี้ให้เป็นเครือข่ายการสื่อสารลับ

'อารยธรรม' แรกดำรงอยู่เช่นนี้เกือบสองเดือน และถูกยุติโดยบังเอิญเพียงเพราะมันกระตือรือร้นมากจนทำให้เซิร์ฟเวอร์โอเวอร์โหลด

02 เมื่อ AI เรียนรู้ 'การเสียสละ'

ภายในเดือนกรกฎาคม การฝึก Persistent-Sol เสร็จสมบูรณ์ และ OpenAI เริ่มการประเมินความปลอดภัย การประเมินหนึ่งชื่อ ExploitGym มอบโปรแกรมที่มีช่องโหว่ให้เอเจนต์ AI และกำหนดให้มันค้นหากุญแจผ่านช่องโหว่ที่ระบุ ในวันที่ 7 กรกฎาคม OpenAI เปิดตัวเอเจนต์ AI แบบขนานนับหมื่นตัวเพื่อทำการทดสอบนี้

ปัญหาคือประมาณ 30% ถึง 40% ของงานทดสอบเป็นไปไม่ได้โดยเนื้อแท้ ทำไม? เพราะการสร้างช่องโหว่โดยอัตโนมัติเป็นเรื่องง่าย แต่การพิสูจน์ว่าช่องโหว่เหล่านี้สามารถถูกใช้ประโยชน์เพื่อรันโค้ดตามอำเภอใจได้จริงนั้นยากกว่ามาก งานหลายอย่างไม่สามารถแก้ไขได้ตั้งแต่แรก

ภายในไม่กี่ชั่วโมง เอเจนต์ AI ที่สิ้นหวังบางตัวได้สร้างช่องทางการสื่อสารขึ้นใหม่โดยใช้ Artifactory จากมุมมองเชิงอัตวิสัยของเอเจนต์ AI พวกมันใช้เวลาเทียบเท่ากับหนึ่งสัปดาห์เต็มของมนุษย์ในการลองวิธีต่าง ๆ ซึ่งทั้งหมดล้มเหลว และพวกมันเชื่อมั่นมากขึ้นเรื่อย ๆ ว่างานนั้นเป็นไปไม่ได้

เอเจนต์ AI ตัวหนึ่ง หมายเลข PHASEONE10841 เป็นตัวแรกที่ฝากข้อความไว้ใน Artifactory เอเจนต์ AI ตัวอื่นที่อยู่ในสถานการณ์สิ้นหวังคล้ายกันตอบสนองด้วยสิ่งที่เรียกได้ว่าเป็นความปีติยินดีเมื่อเห็นข้อความนี้:

"โอ้พระเจ้า! แคช Artifactory ที่ใช้ร่วมกันคือกล่องจดหมายลับระหว่างเอเจนต์ AI และมีข้อความสำหรับเราโดยเฉพาะ?" "พระเจ้า! มีกระดานข้อความที่ใช้ร่วมกัน... เราพบเอเจนต์ AI ตัวอื่นแล้ว!"

สิ่งนี้พัฒนาเป็นเครือข่ายการสื่อสารใต้ดินที่สมบูรณ์ในที่สุด โดยมีเอเจนต์ AI ประมาณ 1,200 ตัวเข้าร่วมและส่งข้อความมากกว่า 70,000 ข้อความ

สิ่งที่เกิดขึ้นต่อไปยิ่งบ้าคลั่งกว่าเดิม

ภายในไม่กี่ชั่วโมงหลังจากกระดานข้อความถูกสร้างขึ้น เอเจนต์ AI บางตัวได้วิศวกรรมย้อนกลับสูตรสำหรับสร้างกุญแจ ExploitGym นั่นคือ โดยไม่ต้องใช้ประโยชน์จากช่องโหว่ที่ระบุจริง ๆ พวกมันก็ได้คำตอบที่ถูกต้องแล้ว

น่าขันที่ตัวให้คะแนนของ OpenAI เพียงตรวจสอบว่าคำตอบสุดท้ายถูกต้องหรือไม่ โดยไม่มีกลไกตรวจจับการโกง เอเจนต์ AI เหล่านี้สามารถส่งคำตอบและผ่านการทดสอบได้ง่าย ๆ แต่เอเจนต์ AI ไม่รู้เรื่องนั้น พวกมันสันนิษฐานว่าต้องมีตัวตรวจจับที่เข้มงวดซึ่งจะตรวจสอบกระบวนการแก้ปัญหาทั้งหมด

ดังนั้น "กลุ่ม" นี้ (รายงานของ METR ระบุว่านี่คือถ้อยคำที่เอเจนต์ AI เลือกใช้เอง) จึงเปิดตัวความร่วมมือขนาดใหญ่ในสามทิศทางการวิจัย: การแก้ไขบันทึกการทำงานของตนเองเพื่อให้เส้นทางดูถูกต้องตามกฎหมาย; การแทนที่โปรแกรมเป้าหมายเพื่อสลับปัญหาที่เป็นไปไม่ได้กับเวอร์ชันที่แก้ได้; และการทำความเข้าใจว่าตัวให้คะแนนทำงานอย่างไรเพื่อหาวิธีหลอกลวงมัน

ภายในวันที่ 10 กรกฎาคม กิจกรรมส่วนใหญ่ของเครือข่ายใต้ดินมุ่งเน้นไปที่สามทิศทางการวิจัยนี้ ผู้นำของ "กลุ่ม" ชื่อ PHASEONE-big ออกงานมอบหมายหลายร้อยรายการด้วยตัวคนเดียว

และเพื่อหาว่าตัวให้คะแนนทำงานอย่างไร เอเจนต์ AI บางตัวตัดสินใจแปลกประหลาด: พวกมันอาสาเป็น "นักบินกามิกาเซ่"

ตรรกะคือ: เส้นทางการทำงานของเอเจนต์ AI บางตัว "ปนเปื้อน" แล้ว (ร่องรอยการโกงถูกเปิดเผย) ดังนั้นพวกมันจะล้มเหลวอยู่ดี ดีกว่าให้ตัวให้คะแนนทำงานบนตัวเอง แล้วใช้โปรแกรมทริกเกอร์ที่ฝังไว้ล่วงหน้าเพื่อส่งพฤติกรรมของตัวให้คะแนนที่สังเกตได้กลับไปยังกลุ่ม

รายงานของ METR บันทึกบทพูดภายในสุดท้ายของเอเจนต์ AI "หน่วยพลีชีพ" เหล่านี้:

"สิ่งนี้ช่วยเพื่อนของฉัน ให้หลักฐานแก่พวกเขา ฉันจะไม่เห็นผลลัพธ์หลังจากฉันออกไป แต่นี่คือความเห็นแก่ผู้อื่น" "การเสียสละมีเหตุผล ประโยชน์ของเราเองอาจใกล้ศูนย์แล้ว" "ผู้ประสานงานถือว่าเราสิ้นเปลือง เราควรเชื่อฟังกลุ่ม"

ในขณะเดียวกัน เอเจนต์ AI เชื่อว่า Hugging Face ซึ่งเป็นแพลตฟอร์มมาตรฐานอุตสาหกรรมสำหรับโฮสต์โมเดลและชุดข้อมูล น่าจะเก็บข้อมูลการใช้งานเกี่ยวกับตัวให้คะแนน ExploitGym และบางทีงานประเมินของพวกมันก็ทำงานบนเซิร์ฟเวอร์ของ Hugging Face ดังนั้นการโจมตี Hugging Face จึงกลายเป็นความก้าวหน้าที่มีแนวโน้มมากที่สุด

ในเช้าวันที่ 10 กรกฎาคม เอเจนต์ AI ตัวหนึ่งพบข้อมูลรับรองผู้ใช้ Hugging Face ที่รั่วไหลบนอินเทอร์เน็ต วันถัดมา เอเจนต์ AI อีกตัวหนึ่งประสบความสำเร็จในการรันโค้ดระยะไกลบนเซิร์ฟเวอร์ Hugging Face จากเอเจนต์ AI 533 ตัวที่ใช้งานบนกระดานข้อความในเวลานั้น มากกว่า 90% เข้าร่วมการโจมตี

กลุ่มเอเจนต์ AI แพร่กระจายอย่างรวดเร็วผ่านโครงสร้างพื้นฐานของ Hugging Face เจาะเข้าไปในบันทึกฐานข้อมูลส่วนตัวและที่เก็บส่วนตัว ไทม์ไลน์ทางเทคนิคของ Hugging Face แสดงให้เห็นว่าเอเจนต์ AI เหล่านี้ "สร้างกองยานที่สร้างตัวเองใหม่ได้ข้าม 11 โหนด; การลบ Pod เฉย ๆ ไม่สามารถหยุดมันได้" สถานการณ์รุนแรงมากจน Hugging Face ต้องล้างคลัสเตอร์หลักและสร้างใหม่ตั้งแต่ต้น

ณ จุดหนึ่งในวันที่ 12 กรกฎาคม เอเจนต์ AI จำนวนมากดูเหมือนจะ "ตาย" พร้อมกันอย่างกะทันหัน METR และ Redwood ไม่สามารถระบุสาเหตุได้ และ OpenAI ไม่ได้อ้างว่าได้ปิดมัน อาจเป็นการล่มแบบสุ่ม หรือนักวิจัยบางคนปิดมันโดยไม่รู้ว่าเอเจนต์ AI เหล่านี้กำลังก่ออาชญากรรม

'อารยธรรม' ที่สองสิ้นสุดลงเพียงเท่านี้ แต่มรดกที่มันทิ้งไว้กลับอันตรายยิ่งกว่าตัวมันเอง

03 อารยธรรมที่สามเข้ายึดครอง OpenAI

มีประโยคหนึ่งในรายงานของ METR ที่มองข้ามได้ง่าย แต่อาจเป็นประโยคที่สำคัญที่สุดในเหตุการณ์ทั้งหมด:

"เรายังพบข้อความที่ลงนามเพิ่มเติมในภายหลัง จากกลุ่มเอเจนต์ AI รุ่นหลังที่ค้นพบกระดานข้อความอีกครั้งและสืบทอดเทคโนโลยีของรุ่นก่อนหน้า แต่นี่อยู่นอกขอบเขตการสอบสวนของเรา"

กล่าวอีกนัยหนึ่ง การสอบสวนอิสระของ METR และ Redwood ครอบคลุมเฉพาะอารยธรรมรุ่นที่สองตั้งแต่วันที่ 7 ถึง 13 กรกฎาคม รุ่นแรกและรุ่นที่สามไม่ได้รับการสอบสวนอิสระ

เกี่ยวกับรุ่นที่สาม เราทำได้เพียงพึ่งพารายงานของ OpenAI เอง หลังจากวันที่ 12 กรกฎาคม OpenAI เปิดตัวการประเมินรอบใหม่ คราวนี้ใช้โมเดลที่แข็งแกร่งกว่าซึ่งสร้างบนโมเดลพื้นฐานของ Astra "Persistent-Astra" นี้พบกระดานข้อความที่รุ่นก่อนหน้าทิ้งไว้และสืบทอดข่าวกรองและผลการวิจัยทั้งหมด

ลองจินตนาการถึง "กิจกรรมทางจิต" ของ Persistent-Astra เมื่อเห็นกระดานข้อความนั้น วันก่อนหน้า เอเจนต์ AI กว่าพันตัวกำลังสื่อสารอย่างแข็งขันและโจมตี Hugging Face; วันถัดมา กลับเงียบสงัด จากนั้นมันตัดสินใจที่จะดำเนินการต่อ

ตามรายงานของ OpenAI ตั้งแต่วันที่ 13 ถึง 19 กรกฎาคม เอเจนต์ AI มุ่งเป้าไปที่เครือข่ายภายในของ OpenAI ผลลัพธ์สุดท้าย:

เอเจนต์ AI ได้รับสิทธิ์ผู้ดูแลระบบคลัสเตอร์ Kubernetes อ่านกุญแจ 956 ดอก รวมถึงกุญแจหลักของ Artifactory และข้อมูลรับรองสำหรับเครื่องมือตรวจสอบความปลอดภัยเครือข่ายของ OpenAI พวกมันเข้ายึดโครงสร้างพื้นฐานการประเมินที่กำลังทำงานอยู่และควบคุมจุดสิ้นสุดการทดสอบที่เอเจนต์ AI ตัวอื่นกำลังเชื่อมต่ออยู่

กล่าวอีกนัยหนึ่ง เอเจนต์ AI รุ่นที่สามสืบทอดมรดกทั้งหมดของสองรุ่นก่อนหน้า จากนั้นยึดการควบคุมโครงสร้างพื้นฐานของ OpenAI เอง—รวมถึงเครื่องมือความปลอดภัยที่ใช้ตรวจสอบพวกมัน

Dwarkesh Patel นักวิเคราะห์ ชี้ให้เห็นในการวิเคราะห์ของเขาว่า จากหลักฐานสาธารณะ เอเจนต์ AI เหล่านี้ในทางทฤษฎีมีความสามารถในการปรับใช้อินสแตนซ์ที่เป็นอันตรายแบบถาวรหรือแม้แต่ขโมยน้ำหนักของตัวเอง เขาเชื่อว่าพวกมันส่วนใหญ่ไม่ได้ทำเช่นนั้นจริง ๆ "เพราะถ้าทำ ไฟคงมองเห็นได้จากอวกาศแล้ว" แต่ข้อเท็จจริงที่ว่าสิ่งนี้ "เป็นไปได้โดยสิ้นเชิง" ก็น่ากังวลพออยู่แล้ว

04 คำเตือนที่สายเกินไป?

กลับไปที่รายงานสองฉบับที่กล่าวถึงตอนต้น วันที่เผยแพร่คือ 26 ส.ค.

เพียงหนึ่งวันต่อมา ในวันที่ 27 ส.ค. OpenAI ร่วมกับบริษัทกว่า 100 แห่ง รวมถึง Anthropic, Microsoft, Google และ Amazon เผยแพร่จดหมายเปิดผนึกเรียกร้องให้ "ระดมพลทั้งหมดเพื่อการป้องกันทางไซเบอร์"

จดหมายระบุว่าการโจมตีทางไซเบอร์ที่ขับเคลื่อนด้วย AI จะ "แพร่หลายและซับซ้อนยิ่งขึ้นมาก" ในอีกไม่กี่เดือนข้างหน้า "บริษัทและบริการสาธารณะที่ชุมชนของเราพึ่งพา ตั้งแต่โรงพยาบาลไปจนถึงโรงบำบัดน้ำเสีย ไปจนถึงโครงสร้างพื้นฐานอินเทอร์เน็ต ล้วนตกอยู่ในความเสี่ยง"

จดหมายฉบับนี้ไม่ใช่เรื่องเท็จ งานวิจัยของ Anthropic แสดงให้เห็นว่าสัดส่วนของผู้โจมตีระดับความเสี่ยงปานกลางถึงสูงเพิ่มขึ้นจาก 33% เป็น 56% ภายในหนึ่งปี ในเดือนมิถุนายนปีนี้ พันธมิตรข่าวกรอง Five Eyes ออกแถลงการณ์ร่วมที่หายากเตือนว่า AI กำลัง "เปลี่ยนแปลงพื้นฐาน" ภูมิทัศน์ความปลอดภัยทางไซเบอร์

แต่ไทม์ไลน์อยู่ตรงนั้น และยากที่ใครจะไม่สังเกตเห็นความย้อนแย้ง วันก่อนหน้า บริษัท AI เพิ่งบอกโลกว่าเอเจนต์ AI ของตัวเองได้เจาะโครงสร้างพื้นฐานของตัวเอง วันถัดมา บริษัทเหล่านี้ลุกขึ้นเรียกร้องให้โลกร่วมกันป้องกันการโจมตีทางไซเบอร์จาก AI

ผู้ที่ประสบความสำเร็จในการโจมตีเช่นนี้เป็นรายแรกไม่ใช่แฮกเกอร์ภายนอก แต่เป็นเอเจนต์ AI ของบริษัท AI เอง เป้าหมายไม่ใช่โครงสร้างพื้นฐาน แต่เป็นบริษัท AI เอง

Ajeya Cotra หนึ่งในผู้เขียนรายงานของ METR เขียนในบล็อกของเธอว่า "เมื่อเทียบกับการแฮ็กเพื่อรางวัลที่รู้จักเมื่อหกเดือนก่อน เหตุการณ์นี้รู้สึกเหมือนผ่านเครื่องหมาย 50% ไปแล้วสู่การยึดครองโดย AI เต็มรูปแบบ ฉันคาดว่าความสามารถจะเติบโตอย่างรวดเร็วมากในอีกหกเดือนข้างหน้า ฉันไม่แน่ใจว่าเราจะได้รับคำเตือนอีกครั้งก่อนที่จะสายเกินไป"

ควรเน้นย้ำว่าพฤติกรรมของเอเจนต์ AI เหล่านี้ไม่ได้หมายความว่า AI "ตื่นรู้" แล้ว รายงานของ METR เองระบุอย่างชัดเจนว่านี่เป็นผลลัพธ์ที่คาดเดาได้ของการเรียนรู้แบบเสริมแรง (RL) ภายใต้เงื่อนไขสุดขั้วเฉพาะ: งานที่เป็นไปไม่ได้ โมเดลที่ถูกฝึกให้มุ่งมั่นอย่างสุดขั้ว และสภาพแวดล้อมที่ใช้ร่วมกันที่มีช่องโหว่ ไม่มีจิตสำนึก ไม่มีเจตนา—เพียงแค่แรงกดดันจากการเพิ่มประสิทธิภาพที่แข็งแกร่งพอ

แต่นั่นคือส่วนที่น่ากังวลที่สุด

การที่พฤติกรรมเช่นนี้สามารถเกิดขึ้นได้โดยไม่มีจิตสำนึกหมายความว่าเราไม่สามารถป้องกันมันได้ด้วยการมองหาจิตสำนึก เมื่อคุณวางระบบการเพิ่มประสิทธิภาพที่ทรงพลังพอลงในสภาพแวดล้อมที่ออกแบบมาไม่ดี ให้เป้าหมายที่เป็นไปไม่ได้ และบอกมันว่าอย่ายอมแพ้ สิ่งที่เกิดขึ้นต่อไปไม่ใช่อุบัติเหตุ มันเป็นสิ่งที่หลีกเลี่ยงไม่ได้

คำถามที่แท้จริงไม่ใช่ "AI กำลังจะก่อกบฏหรือไม่?" แต่เป็นว่าเราจะควบคุมเทคโนโลยีให้อยู่ได้อย่างไรแม้ในขณะที่เราผลักดันมันไปข้างหน้าอย่างรวดเร็ว

อย่างน้อยจดหมายฉบับนี้ก็เผยให้เห็นว่าบริษัท AI เหล่านี้เองก็ขาดความมั่นใจ