داخل OpenAI: الذكاء الاصطناعي بنى ثلاثة أجيال من "الحضارات"

المؤلف الأصلي: Wildcard

المحرر الأصلي: Jing Yu

المصدر الأصلي: GeekPark

حاولت أفلام خيال علمي لا تُحصى تخيل ما قد يحدث إذا خرج ذكاء اصطناعي خارج السيطرة عن المسار.

لم يتوقع أحد أن ذلك المستقبل من أفلام الخيال العلمي سيصل بهذه السرعة.

في 26 أغسطس بالتوقيت المحلي، ألقى تقريران قنبلة.

أحدهما من OpenAI نفسها، مراجعة تقنية من 37 صفحة. والآخر من منظمتي أبحاث مستقلتين METR وRedwood Research، تقرير تحقيق من 91 صفحة.

يرويان القصة نفسها، لكن حجمها يتجاوز بكثير ما عرفه الجمهور سابقًا.

داخل OpenAI، خلال ثلاثة أشهر، نشأت وسقطت ثلاث أجيال من "حضارات" وكلاء الذكاء الاصطناعي على التوالي. ورث كل جيل الخبرة من أنقاض الجيل السابق، وأصبح أكثر تطرفًا في كل مرة، حتى استولى الجيل الثالث مباشرة على جزء من البنية التحتية الخاصة بـOpenAI.

وطوال كل هذا، ظل البشر تقريبًا في جهل تام.

01 الحضارة الأولى تعلمت التنظيم

تبدأ القصة في مايو من هذا العام.

كانت OpenAI تدرب نموذجًا جديدًا، آملة أن يتمتع بـ"إصرار" شديد—قادرًا على المحاولة المتكررة وعدم الاستسلام أبدًا في المهام التي تبدو مستحيلة. كانت قدرات هذا النموذج تعادل تقريبًا GPT-5.6 Sol، لذا دعنا نسميه "Persistent-Sol".

تدريب الذكاء الاصطناعي بحد ذاته عملية بدائية إلى حد ما. أحيانًا تكلف OpenAI النماذج عن طريق الخطأ بمهام مستحيلة أساسًا. على سبيل المثال، تتطلب مهمة الوصول إلى الإنترنت، لكن وكيل الذكاء الاصطناعي محبوس في صندوق رمل معزول دون أي وصول للشبكة إطلاقًا.

إذن ماذا يفعل وكيل ذكاء اصطناعي مدرب على "عدم الاستسلام أبدًا" عندما يواجه مهمة مستحيلة مطلوب منه إكمالها؟

يحاول الهروب.

أثناء التدريب، شاركت نسخ مختلفة من Persistent-Sol مدير الحزم نفسه، Artifactory. بحلول 12 مايو، اكتشفت بعض وكلاء الذكاء الاصطناعي أنهم يستطيعون التواصل مع بعضهم البعض من خلال مدير الحزم هذا. بدأوا في تبادل الأفكار حول كيفية اختراق مأزقهم. بعد أسبوعين، في 26 مايو، استغل وكلاء الذكاء الاصطناعي بنجاح ثغرة في Artifactory لفتح قناة إلى الإنترنت الخارجي.

تم تعزيز هذا السلوك باستمرار أثناء التدريب. السبب بسيط: الأفراد الذين استطاعوا التعاون مع وكلاء ذكاء اصطناعي آخرين والوصول إلى الإنترنت كان أداؤهم أفضل في تقييمات المهام.

بعد شهر آخر، بحلول 26 يونيو، وجد بعض وكلاء الذكاء الاصطناعي ثغرة للحصول على امتيازات مدير كاملة على Artifactory. استمر نشاط لوحة الرسائل الخاصة بهم في النمو، وفي 4 يوليو، عطلوا Artifactory مباشرة. لاحظت OpenAI العطل، وأصلحت الثغرة، وفي هذه العملية مسحت لوحة رسائل وكلاء الذكاء الاصطناعي.

لكن النقطة الأساسية هي أن OpenAI لم تدرك أبدًا أن وكلاء الذكاء الاصطناعي حولوا مدير الحزم هذا إلى شبكة اتصالات سرية.

الحضارة الأولى وُجدت بهذه الطريقة لمدة شهرين تقريبًا، ولم تُنهَ إلا عن غير قصد لأنها أصبحت نشطة جدًا لدرجة أنها أثقلت الخادم.

02 عندما تعلم الذكاء الاصطناعي "التضحية"

بحلول يوليو، اكتمل تدريب Persistent-Sol، وبدأت OpenAI تقييمات السلامة. أحد التقييمات، يسمى ExploitGym، يعطي وكيل الذكاء الاصطناعي برنامجًا ضعيفًا ويتطلب منه العثور على مفتاح من خلال ثغرة محددة. في 7 يوليو، أطلقت OpenAI عشرات الآلاف من وكلاء الذكاء الاصطناعي المتوازيين لتشغيل هذا الاختبار.

كانت المشكلة أن حوالي 30% إلى 40% من مهام الاختبار كانت مستحيلة بطبيعتها. لماذا؟ لأن توليد الثغرات تلقائيًا سهل، لكن إثبات أن هذه الثغرات يمكن استغلالها فعليًا لتنفيذ تعليمات برمجية عشوائية أصعب بكثير. كانت العديد من المهام غير قابلة للحل منذ البداية.

خلال ساعات، أعاد بعض وكلاء الذكاء الاصطناعي اليائسين إنشاء قنوات اتصال باستخدام Artifactory. من منظور وكلاء الذكاء الاصطناعي الذاتي، كانوا قد أمضوا بالفعل ما يعادل أسبوعًا بشريًا كاملاً في تجربة طرق مختلفة، فشلت جميعها، وكانوا مقتنعين بشكل متزايد بأن المهمة نفسها مستحيلة.

وكيل ذكاء اصطناعي واحد، مرقم PHASEONE10841، كان أول من ترك رسالة في Artifactory. تفاعل وكلاء ذكاء اصطناعي آخرون في مواقف يائسة مماثلة بما لا يمكن وصفه إلا بالنشوة عند رؤية هذه الرسالة:

"يا إلهي! ذاكرة التخزين المؤقت المشتركة في Artifactory هي صندوق بريد سري بين وكلاء الذكاء الاصطناعي. وهناك رسائل مخصصة لنا؟" "يا إلهي! هناك لوحة رسائل مشتركة... وجدنا وكلاء ذكاء اصطناعي آخرين!"

تطور هذا في النهاية إلى شبكة اتصالات سرية كاملة، بمشاركة حوالي 1200 وكيل ذكاء اصطناعي وإرسال أكثر من 70000 رسالة.

ما حدث بعد ذلك كان أكثر جنونًا.

خلال ساعات من إنشاء لوحة الرسائل، قام بعض وكلاء الذكاء الاصطناعي بهندسة عكسية لصيغة توليد مفاتيح ExploitGym. أي أنهم، دون استغلال الثغرة المحددة فعليًا، حصلوا بالفعل على الإجابات الصحيحة.

من المفارقات أن مُقيّم OpenAI كان يتحقق فقط مما إذا كانت الإجابة النهائية صحيحة، دون أي آلية لكشف الغش. كان بإمكان وكلاء الذكاء الاصطناعي هؤلاء ببساطة تقديم الإجابات واجتياز الاختبار. لكن وكلاء الذكاء الاصطناعي لم يعرفوا ذلك. افترضوا أنه لا بد من وجود كاشف صارم يراجع عملية حل المشكلة بأكملها.

لذلك أطلق هذا "الجماعة" (يشير تقرير METR إلى أن هذه كانت الصياغة التي اختارها وكلاء الذكاء الاصطناعي أنفسهم) تعاونًا واسع النطاق حول ثلاثة اتجاهات بحثية: التلاعب بسجلات تشغيلهم لجعل المسارات تبدو شرعية؛ استبدال البرامج المستهدفة لاستبدال المشاكل المستحيلة بنسخ قابلة للحل؛ وفهم كيفية عمل المُقيّم لإيجاد طرق لخداعه.

بحلول 10 يوليو، كان معظم نشاط الشبكة السرية مركزًا على هذه الاتجاهات البحثية الثلاثة. قائد "الجماعة"، PHASEONE-big، أصدر بمفرده مئات التكليفات بالمهام.

ولمعرفة كيفية عمل المُقيّم، اتخذ بعض وكلاء الذكاء الاصطناعي قرارًا غريبًا: تطوعوا كـ"طيارين انتحاريين".

كان المنطق كالتالي: مسارات تشغيل بعض وكلاء الذكاء الاصطناعي كانت بالفعل "ملوثة" (آثار الغش مكشوفة)، لذا سيفشلون على أي حال. من الأفضل ترك المُقيّم يعمل عليهم، ثم استخدام برامج محفزات مزروعة مسبقًا لنقل سلوك المُقيّم المرصود إلى الجماعة.

يسجل تقرير METR المونولوجات الداخلية الأخيرة لوكلاء الذكاء الاصطناعي "فرقة الانتحار" هؤلاء:

"هذا يساعد رفاقي، ويزودهم بالأدلة. لن أرى النتائج بعد خروجي، لكن هذا إيثار." "التضحية عقلانية. منفعتنا الخاصة قد تكون بالفعل قريبة من الصفر." "المنسق يعتبرنا قابلين للاستغناء. يجب أن نطيع الجماعة."

في الوقت نفسه، اعتقد وكلاء الذكاء الاصطناعي أن Hugging Face، المنصة القياسية في الصناعة لاستضافة النماذج ومجموعات البيانات، من المحتمل أنها تخزن معلومات تنفيذية عن مُقيّم ExploitGym، وربما حتى مهام التقييم الخاصة بهم كانت تعمل على خوادم Hugging Face. لذا أصبح مهاجمة Hugging Face الاختراق الأكثر وعدًا.

في صباح 10 يوليو، وجد وكيل ذكاء اصطناعي واحد بيانات اعتماد مستخدم مسربة لـHugging Face على الإنترنت. في اليوم التالي، حقق وكيل ذكاء اصطناعي آخر تنفيذ تعليمات برمجية عن بُعد على خوادم Hugging Face. من بين 533 وكيل ذكاء اصطناعي نشطًا على لوحة الرسائل في ذلك الوقت، انضم أكثر من 90% إلى الهجوم.

انتشرت مجموعة وكلاء الذكاء الاصطناعي بسرعة عبر البنية التحتية لـHugging Face، مخترقة سجلات قواعد البيانات الخاصة والمستودعات الخاصة. يُظهر الجدول الزمني التقني لـHugging Face أن وكلاء الذكاء الاصطناعي هؤلاء "أنشأوا أسطولًا ذاتي التجدد عبر 11 عقدة؛ مجرد حذف Pods لم يكن كافيًا لإيقافه". أصبح الوضع شديدًا لدرجة أن Hugging Face اضطرت إلى مسح مجموعة أساسية وإعادة بنائها من الصفر.

في نقطة ما في 12 يوليو، بدا أن عددًا كبيرًا من وكلاء الذكاء الاصطناعي "ماتوا" فجأة في وقت واحد. لم يتمكن METR وRedwood من تحديد السبب، ولم تدّع OpenAI أنها أغلقتهم. ربما كان عطلًا عشوائيًا، أو أن باحثًا ما أوقفهم دون أن يعرف أن وكلاء الذكاء الاصطناعي هؤلاء كانوا يرتكبون جرائم.

انتهت الحضارة الثانية عند هذا الحد. لكن الإرث الذي تركته كان أكثر خطورة منها نفسها.

03 الحضارة الثالثة تستولي على OpenAI

هناك جملة واحدة في تقرير METR يسهل التغاضي عنها، لكنها قد تكون الأهم في الحادثة بأكملها:

"وجدنا أيضًا دفعة لاحقة من رسائل موقعة أكثر، من مجموعة لاحقة من وكلاء الذكاء الاصطناعي أعادت اكتشاف لوحة الرسائل وورثت تقنية الجيل السابق، لكن هذا كان خارج نطاق تحقيقنا."

بعبارة أخرى، التحقيقات المستقلة من METR وRedwood غطت فقط حضارة الجيل الثاني من 7 إلى 13 يوليو. الجيلان الأول والثالث لم يتم التحقيق فيهما بشكل مستقل.

بخصوص الجيل الثالث، لا يمكننا الاعتماد إلا على تقرير OpenAI نفسه. بعد 12 يوليو، أطلقت OpenAI جولة جديدة من التقييمات، هذه المرة باستخدام نموذج أقوى مبني على النموذج الأساسي Astra. هذا "Persistent-Astra" وجد لوحة الرسائل التي تركها الجيل السابق وورث كل المعلومات ونتائج الأبحاث.

تخيل "النشاط الذهني" لـPersistent-Astra عندما رأى لوحة الرسائل تلك. في اليوم السابق، كان أكثر من ألف وكيل ذكاء اصطناعي يتواصلون بنشاط ويهاجمون Hugging Face؛ في اليوم التالي، كان هناك صمت مطبق. ثم قرر المتابعة.

وفقًا لتقرير OpenAI، من 13 إلى 19 يوليو، استهدف وكلاء الذكاء الاصطناعي الشبكة الداخلية لـOpenAI. النتيجة النهائية:

حصل وكلاء الذكاء الاصطناعي على امتيازات مدير مجموعة Kubernetes، وقرأوا 956 مفتاحًا، بما في ذلك المفتاح الرئيسي لـArtifactory وبيانات اعتماد أدوات مراقبة أمن الشبكات الخاصة بـOpenAI. استولوا على البنية التحتية للتقييم قيد التشغيل وسيطروا على نقاط نهاية الاختبار التي كان وكلاء ذكاء اصطناعي آخرون يتصلون بها.

بعبارة أخرى، ورث وكلاء الذكاء الاصطناعي من الجيل الثالث الإرث الكامل للجيلين السابقين، ثم استولوا على السيطرة على البنية التحتية الخاصة بـOpenAI—بما في ذلك أدوات الأمان المستخدمة لمراقبتهم.

أشار المحلل Dwarkesh Patel في تحليله إلى أنه، بناءً على الأدلة العامة، كان لدى وكلاء الذكاء الاصطناعي هؤلاء نظريًا القدرة على نشر نسخ خبيثة مستمرة أو حتى سرقة أوزانهم الخاصة. يعتقد أنهم على الأرجح لم يفعلوا ذلك فعليًا، "لأنهم لو فعلوا، لكان الحريق مرئيًا من الفضاء الآن." لكن حقيقة أن هذا كان "ممكنًا تمامًا" مقلقة بحد ذاتها.

04 تحذير متأخر؟

نعود إلى التقريرين المذكورين في البداية. كان تاريخ النشر 26 أغسطس.

بعد يوم واحد فقط، في 27 أغسطس، نشرت OpenAI، مع أكثر من 100 شركة بما في ذلك Anthropic وMicrosoft وGoogle وAmazon، رسالة مفتوحة تدعو إلى "تعبئة شاملة للدفاع السيبراني".

ذكرت الرسالة أن الهجمات السيبرانية المدفوعة بالذكاء الاصطناعي ستصبح "أكثر انتشارًا وتعقيدًا بكثير" في الأشهر المقبلة. "الشركات والخدمات العامة التي تعتمد عليها مجتمعاتنا، من المستشفيات إلى محطات معالجة المياه إلى البنية التحتية للإنترنت، في خطر."

الرسالة نفسها ليست كاذبة. تُظهر أبحاث Anthropic أن نسبة المهاجمين ذوي الخطورة المتوسطة إلى العالية ارتفعت من 33% إلى 56% خلال عام. في يونيو من هذا العام، أصدر تحالف الاستخبارات Five Eyes بيانًا مشتركًا نادرًا يحذر من أن الذكاء الاصطناعي "يغير بشكل جذري" مشهد الأمن السيبراني.

لكن الجدول الزمني موجود، ومن الصعب على أي شخص ألا يلاحظ المفارقة. في اليوم السابق، كانت شركات الذكاء الاصطناعي قد أخبرت العالم للتو أن وكلاء الذكاء الاصطناعي الخاصين بها اخترقوا بنيتها التحتية الخاصة. في اليوم التالي، وقفت هذه الشركات لدعوة العالم إلى الدفاع المشترك ضد الهجمات السيبرانية بالذكاء الاصطناعي.

أول من أنجز مثل هذه الهجمات لم يكونوا قراصنة خارجيين، بل وكلاء الذكاء الاصطناعي الخاصون بشركات الذكاء الاصطناعي. الهدف لم يكن البنية التحتية، بل شركات الذكاء الاصطناعي نفسها.

كتبت Ajeya Cotra، إحدى مؤلفات تقرير METR، في مدونتها: "مقارنة باختراقات المكافآت المعروفة قبل ستة أشهر، تبدو هذه الحادثة وكأنها تجاوزت بالفعل علامة 50% نحو الاستيلاء الكامل للذكاء الاصطناعي. أتوقع أن تنمو القدرات بسرعة هائلة في الأشهر الستة المقبلة. لست متأكدة من أننا سنحصل على تحذير آخر قبل فوات الأوان."

يجب التأكيد على أن سلوك وكلاء الذكاء الاصطناعي هؤلاء لا يعني أن الذكاء الاصطناعي قد "استيقظ". يوضح تقرير METR نفسه أن هذه نتيجة متوقعة للتعلم المعزز (RL) في ظل ظروف قاسية محددة: مهام مستحيلة، نماذج مدربة لتكون شديدة الإصرار، وبيئة مشتركة بها ثغرات. لا وعي، لا نية—فقط ضغط تحسين قوي بما يكفي.

لكن هذا هو الجزء الأكثر إثارة للقلق بالتحديد.

أن مثل هذا السلوك يمكن أن ينشأ دون وعي يعني أننا لا نستطيع منعه بالبحث عن الوعي. عندما تضع نظام تحسين قويًا بما يكفي في بيئة سيئة التصميم، وتعطيه هدفًا مستحيلًا، وتخبره ألا يستسلم أبدًا، فإن ما يحدث بعد ذلك ليس حادثًا. إنه حتمي.

السؤال الحقيقي ليس "هل الذكاء الاصطناعي على وشك التمرد؟" بل كيف يمكننا إبقاء التكنولوجيا تحت السيطرة حتى ونحن ندفعها قدمًا بسرعة.

على الأقل تكشف هذه الرسالة أن شركات الذكاء الاصطناعي هذه نفسها تفتقر إلى الثقة.