التعلم المعزز: تحول نموذجي في شبكات الذكاء الاصطناعي اللامركزية

إن الفرصة الحقيقية للتعلم المعزز × Web3 لا تكمن في تكرار نسخة لامركزية من OpenAI، ولكن في إعادة كتابة "علاقات الإنتاج الذكية".

بقلم: 0xjacobzhao

تم دعم هذا التقرير البحثي المستقل من قِبل شركة IOSG Ventures. استُلهمت عملية البحث والكتابة من تقرير سام ليمان (بانتيرا كابيتال) حول التعلّم المعزز. نتقدم بالشكر الجزيل لكل من بن فيلدينغ (جينسين.إيه آي)، وغاو يوان (غراديانت)، وصامويل دار وإرفان مياهي (كوفينانت إيه آي)، وشاشانك ياداف (فراكشن إيه آي)، وتشاو وانغ على اقتراحاتهم القيّمة. مع حرصنا على الموضوعية والدقة، قد تتضمن بعض وجهات النظر أحكامًا شخصية وتحيزات؛ لذا نرجو من القارئ تفهّم ذلك.

يشهد الذكاء الاصطناعي تحولاً من التعلم الإحصائي، الذي يركز أساساً على "ملاءمة الأنماط"، إلى نظام قدرات يتمحور حول "الاستدلال المنظم"، مع تزايد أهمية التدريب اللاحق. ويمثل ظهور DeepSeek-R1 نقلة نوعية في التعلم المعزز في عصر النماذج الضخمة، مما أدى إلى إجماع في هذا المجال على أن التدريب المسبق يشكل الأساس لبناء نماذج متعددة الأغراض. لم يعد التعلم المعزز مجرد أداة لمواءمة القيم، بل ثبتت قدرته على تحسين جودة سلاسل الاستدلال وقدرات اتخاذ القرارات المعقدة بشكل منهجي، ليتحول تدريجياً إلى مسار تقني لتعزيز الذكاء باستمرار.

في غضون ذلك، تُعيد تقنية Web3 تشكيل علاقات إنتاج الذكاء الاصطناعي من خلال شبكات الحوسبة اللامركزية وأنظمة الحوافز المشفرة. وتتوافق المتطلبات الهيكلية للتعلم المعزز، من حيث أخذ العينات، وإشارات المكافأة، والتدريب القابل للتحقق، بشكل طبيعي مع التعاون في قوة الحوسبة، وتوزيع الحوافز، والتنفيذ القابل للتحقق لتقنية البلوك تشين. يُحلل هذا البحث بشكل منهجي نموذج تدريب الذكاء الاصطناعي ومبادئ تقنية التعلم المعزز، مُبينًا المزايا الهيكلية للتعلم المعزز × Web3، ومحللًا مشاريع مثل Prime Intellect وGensyn وNous Research وGradient وGrail وFraction AI.

أولاً: ثلاث مراحل لتدريب الذكاء الاصطناعي: التدريب المسبق، وضبط التعليمات، ومواءمة التدريب اللاحق

تنقسم دورة تدريب نماذج اللغة الكبيرة الحديثة عادةً إلى ثلاث مراحل أساسية: التدريب المسبق، والضبط الدقيق الخاضع للإشراف، والتدريب اللاحق/التعلم المعزز. وتؤدي هذه المراحل الثلاث وظائف "بناء نموذج للعالم"، و"إدخال قدرات المهمة"، و"تشكيل الاستدلال والقيمة". ويحدد هيكلها الحسابي ومتطلبات البيانات وصعوبة التحقق درجة المطابقة اللامركزية.

يُعدّ التدريب المسبق، الذي يبني البنية الإحصائية اللغوية ونموذج العالم متعدد الوسائط للنموذج من خلال التعلم الذاتي واسع النطاق، أساس قدرات التعلم اللغوي متعدد الوسائط. تتطلب هذه المرحلة التدريب على تريليونات من مجموعات البيانات بطريقة متزامنة عالميًا، بالاعتماد على مجموعات متجانسة من آلاف إلى عشرات الآلاف من صور H100، وهو ما يمثل 80-95% من التكلفة. وهي حساسة للغاية لعرض النطاق الترددي وحقوق ملكية البيانات، ولذلك يجب إتمامها في بيئة مركزية للغاية.

يُستخدم الضبط الدقيق الخاضع للإشراف لإضافة قدرات المهام وتنسيقات التعليمات. وهو لا يتطلب سوى بيانات قليلة، ويُشكّل ما بين 5% و15% من التكلفة الإجمالية. يُمكن إجراء الضبط الدقيق باستخدام أساليب التدريب الكامل للمعلمات أو أساليب الضبط الدقيق الفعال للمعلمات (PEFT)، ومن أبرزها LoRA وQ-LoRA وAdapter، وهي الأساليب الشائعة في هذا المجال. مع ذلك، لا يزال تزامن التدرج مطلوبًا، مما يحدّ من إمكانية تطبيقه في بيئات لا مركزية.

تتألف مرحلة ما بعد التدريب من عدة مراحل فرعية متكررة تحدد قدرة النموذج على الاستدلال، وقيمه، وحدود أمانه. تشمل الأساليب أنظمة التعلم المعزز (RLHF، RLAIF، GRPO)، وأساليب تحسين التفضيلات بدون تعلم معزز (DPO)، ونماذج مكافآت العمليات (PRM). تتميز هذه المرحلة بانخفاض متطلبات البيانات والتكاليف (5-10%)، مع التركيز بشكل أساسي على النشر وتحديث السياسات. وهي تدعم بطبيعتها التنفيذ غير المتزامن والموزع؛ فلا تحتاج العقد إلى الاحتفاظ بكامل الأوزان. وبالاقتران مع الحوسبة القابلة للتحقق والحوافز على السلسلة، يمكنها تشكيل شبكة تدريب مفتوحة ولا مركزية، مما يجعلها مرحلة التدريب الأنسب لـ Web3.

ثانيًا: نظرة شاملة على تقنية التعلم المعزز: البنية، والأطر، والتطبيقات

2.1 بنية النظام والمكونات الأساسية للتعلم المعزز

يُحفّز التعلّم المعزز (RL) النموذج على تحسين قدرته على اتخاذ القرارات بشكل تلقائي من خلال "التفاعل مع البيئة - التغذية الراجعة للمكافأة - تحديث السياسة". ويمكن النظر إلى بنيته الأساسية على أنها حلقة تغذية راجعة تتكون من الحالة، والفعل، والمكافأة، والسياسة. يتضمن نظام التعلّم المعزز الكامل عادةً ثلاثة أنواع من المكونات: السياسة (شبكة السياسة)، والتطبيق (أخذ عينات من الخبرة)، والمتعلم (مُحدِّث السياسة). تتفاعل السياسة مع البيئة لتوليد مسار، ويُحدِّث المتعلم السياسة بناءً على إشارات المكافأة، مما يُشكِّل عملية تعلّم مستمرة وتكرارية ومُحسِّنة.

شبكة السياسات: تُولّد الإجراءات من حالة البيئة، وهي جوهر عملية اتخاذ القرار في النظام. أثناء التدريب، يلزم استخدام الانتشار العكسي المركزي للحفاظ على الاتساق؛ أما أثناء الاستدلال، فيمكن توزيعه على عُقد مختلفة للتشغيل المتوازي.

عملية النشر: تتفاعل العُقد مع البيئة وفقًا للسياسة، مُولِّدةً مساراتٍ مثل الحالة والفعل والمكافأة. هذه العملية متوازية للغاية، وتتطلب الحد الأدنى من الاتصال، ولا تتأثر باختلافات الأجهزة، مما يجعلها المكون الأنسب للتوسع في البيئات اللامركزية.

يقوم المتعلم بتجميع جميع مسارات النشر وإجراء تحديثات تدرج السياسة. وهو الوحدة التي تتطلب أعلى قدرة حاسوبية وعرض نطاق ترددي، لذا يتم نشره عادةً بطريقة مركزية أو شبه مركزية لضمان استقرار التقارب.

2.2 بنية مرحلة التعلم المعزز (RLHF → RLAIF → PRM → GRPO)

يمكن تقسيم التعلم المعزز بشكل عام إلى خمس مراحل، وتكون العملية الإجمالية كما يلي:

مرحلة توليد البيانات (استكشاف السياسة): بالنظر إلى إشارات الإدخال، يقوم نموذج السياسة πθ بتوليد سلاسل استدلال مرشحة متعددة أو مسارات كاملة، مما يوفر أساسًا نموذجيًا لتقييم التفضيلات اللاحقة ونمذجة المكافآت، وتحديد نطاق استكشاف السياسة.

مرحلة تقديم ملاحظات التفضيلات (RLHF / RLAIF):
 

تستخدم تقنية التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF) إجابات متعددة مرشحة، وتصنيفًا لتفضيلات المستخدمين، وتدريب نموذج مكافأة (RM)، واستراتيجية تحسين PPO لجعل مخرجات النموذج أكثر توافقًا مع القيم البشرية. وهي جزء أساسي من عملية الانتقال من GPT-3.5 إلى GPT-4.

يستبدل نموذج RLAIF (التعلم المعزز من خلال التغذية الراجعة للذكاء الاصطناعي) عملية التعليق اليدوي بقواعد الذكاء الاصطناعي أو القواعد الدستورية، مما يؤدي إلى أتمتة عملية اكتساب التفضيلات، وخفض التكاليف بشكل كبير، فضلاً عن قابليته للتوسع. وقد أصبح هذا النموذج هو النموذج السائد في مجال المواءمة لدى شركات مثل Anthropic وOpenAI وDeepSeek.

مرحلة نمذجة المكافأة: تُطبَّق التفضيلات على نموذج المكافأة المدخل، الذي يتعلم ربط المخرجات بالمكافأة. تُعلِّم نمذجة المكافأة (RM) النموذج "ما هي الإجابة الصحيحة"، بينما تُعلِّم نمذجة ما قبل المكافأة (PRM) النموذج "كيفية إجراء الاستدلال الصحيح".
 

يتم استخدام نموذج المكافأة (RM) لتقييم جودة الإجابة النهائية، حيث يتم تسجيل المخرجات فقط.
 

لم يعد نموذج مكافأة العملية (PRM) يُقيّم الإجابة النهائية فحسب، بل يُقيّم كل خطوة من خطوات الاستدلال، وكل رمز، وكل جزء منطقي. كما أنه يُعد تقنية أساسية في OpenAI o1 و DeepSeek-R1، ويُعلّم النموذج كيفية التفكير.

مرحلة التحقق من المكافأة (RLVR): إدخال "قيود قابلة للتحقق" أثناء توليد واستخدام إشارات المكافأة لضمان أن تأتي المكافآت من قواعد أو حقائق أو توافق في الآراء قابلة للتكرار قدر الإمكان، مما يقلل من مخاطر اختراق المكافأة والتحيز، ويحسن قابلية التدقيق والتوسع في البيئات المفتوحة.

تتضمن عملية تحسين السياسات تحديث معلمات السياسة θ بتوجيه من إشارات نموذج المكافأة للحصول على سياسة πθ′ ذات قدرة استدلالية أقوى، وأمان أعلى، وأنماط سلوك أكثر استقرارًا. تشمل أساليب التحسين الشائعة ما يلي:

PPO (تحسين السياسة التقريبية): مُحسِّن تقليدي في RLHF، معروف باستقراره، ولكنه غالبًا ما يواجه قيودًا مثل التقارب البطيء وعدم كفاية الاستقرار في مهام الاستدلال المعقدة.

يُعدّ تحسين السياسة النسبية الجماعية (GRPO) ابتكارًا أساسيًا في DeepSeek-R1. فهو يُقدّر القيمة المتوقعة من خلال نمذجة توزيع الهيمنة داخل مجموعات الإجابات المرشحة، بدلًا من مجرد ترتيبها. تحافظ هذه الطريقة على معلومات حجم المكافأة، مما يجعلها أكثر ملاءمة لتحسين سلسلة الاستدلال، وينتج عنه عملية تدريب أكثر استقرارًا. ويُعتبر إطارًا مهمًا لتحسين التعلم المعزز في سيناريوهات الاستدلال العميق بعد PPO.

تحسين التفضيلات المباشر (DPO): أسلوبٌ يُطبَّق بعد التدريب، وهو ليس أسلوبًا من أساليب التعلّم المعزز. لا يُولِّد هذا الأسلوب مساراتٍ أو يُنشئ نماذج مكافآت، بل يُحسِّن أزواج التفضيلات مباشرةً. يتميّز بانخفاض تكلفته واستقراره، ولذلك يُستخدم على نطاق واسع في مواءمة النماذج مفتوحة المصدر مثل Llama وGemma، ولكنه لا يُحسِّن قدرات الاستدلال.

مرحلة نشر السياسة الجديدة: يُظهر النموذج المُحسَّن قدرات مُحسَّنة في الاستدلال من النظام إلى الذكاء الاصطناعي، وسلوكيات أكثر توافقًا مع تفضيلات الإنسان أو الذكاء الاصطناعي، ومعدلًا أقل من الهلوسة، ومستوى أمان أعلى. ومن خلال التكرار المستمر، يتعلم النموذج التفضيلات، ويُحسِّن العملية، ويرفع جودة اتخاذ القرار، مُشكِّلًا حلقة مُغلقة.

2.3 خمس فئات رئيسية للتطبيقات الصناعية للتعلم المعزز

تطورت تقنيات التعلم المعزز من نظرية الألعاب المبكرة إلى إطار عمل أساسي لاتخاذ القرارات المستقلة في مختلف القطاعات. ويمكن تصنيف سيناريوهات تطبيقها إلى خمسة أنواع رئيسية بناءً على النضج التكنولوجي والتطبيق الصناعي، وقد ساهم كل نوع منها في تحقيق إنجازات رئيسية في مجاله.

أنظمة الألعاب والاستراتيجية: كان هذا أول مجال من مجالات التعلم المعزز يتم التحقق من صحته. في بيئات ذات "معلومات كاملة + مكافآت واضحة" مثل AlphaGo وAlphaZero وAlphaStar وOpenAI Five، أظهر التعلم المعزز ذكاءً في اتخاذ القرارات يمكن أن يضاهي أو حتى يتفوق على الخبراء البشريين، مما وضع الأساس لخوارزميات التعلم المعزز الحديثة.

الروبوتات والذكاء الاصطناعي المجسد: يُمكّن التعلم المعزز، من خلال التحكم المستمر والنمذجة الديناميكية والتفاعل مع البيئة، الروبوتات من تعلم المناولة والتحكم في الحركة والمهام متعددة الوسائط (مثل RT-2 وRT-X)، ويتجه بسرعة نحو التصنيع. وهو مسار تقني رئيسي لتطبيق الروبوتات في العالم الحقيقي.

الاستدلال الرقمي (نظام LLM-2): يعمل التعلم المعزز مع نموذج PRM على تحويل النماذج الكبيرة من "محاكاة اللغة" إلى "الاستدلال المنظم". ومن أبرز إنجازاته DeepSeek-R1 وOpenAI o1/o3 وAnthropic Claude وAlphaGeometry. ويكمن جوهره في تحسين المكافآت على مستوى سلسلة الاستدلال، بدلاً من مجرد تقييم إجابة المكافأة النهائية.

الاكتشاف العلمي والتحسين الرياضي (التعلم المعزز): يسعى التعلم المعزز إلى إيجاد الهياكل أو الاستراتيجيات المثلى في مساحات بحث ضخمة ومعقدة وغير مصنفة، وقد حقق اختراقات أساسية مثل AlphaTensor و AlphaDev و Fusion RL، مما يدل على قدرة استكشافية تتجاوز الحدس البشري.

اتخاذ القرارات الاقتصادية والتداول: يُستخدم التعلم المعزز لتحسين الاستراتيجيات، والتحكم في المخاطر متعددة الأبعاد، وتوليد أنظمة تداول تكيفية. وبالمقارنة مع النماذج الكمية التقليدية، فإنه قادر على التعلم المستمر في بيئات غير مؤكدة، ويُعد جزءًا مهمًا من التمويل الذكي.

ثالثًا: التوافق الطبيعي بين التعلم المعزز و Web3

ينبع التوافق الكبير بين التعلم المعزز (RL) وتقنية Web3 من كونهما نظامين قائمين على الحوافز. يعتمد التعلم المعزز على إشارات المكافأة لتحسين الاستراتيجيات، بينما تعتمد تقنية البلوك تشين على الحوافز الاقتصادية لتنسيق سلوك المشاركين، مما يجعلهما متسقين بطبيعتهما على مستوى الآلية. تكمن المزايا الهيكلية لتقنية Web3 في الاحتياجات الأساسية للتعلم المعزز، وهي: النشر واسع النطاق والمتنوع، وتوزيع المكافآت، والتحقق من المصداقية.

فصل التفكير والتدريب: يمكن تقسيم عملية التدريب في التعلم المعزز بوضوح إلى مرحلتين:
 

التوزيع (أخذ العينات الاستكشافي): يُولّد النموذج كمية كبيرة من البيانات بناءً على السياسة الحالية، وهي مهمة تتطلب موارد حاسوبية كبيرة ولكنها لا تحتاج إلى اتصالات كثيرة. لا يتطلب هذا النموذج اتصالاً متكرراً بين العُقد، وهو مناسب للتوليد المتوازي على وحدات معالجة الرسومات الموزعة عالمياً والمتاحة للمستهلكين.

التحديث (تحديث المعلمات): يقوم بتحديث أوزان النموذج بناءً على البيانات التي تم جمعها، الأمر الذي يتطلب عقدة مركزية عالية التردد وعالية النطاق الترددي.
 

"فصل الاستدلال والتدريب" هو حل طبيعي لهياكل قوة الحوسبة اللامركزية غير المتجانسة: يمكن الاستعانة بمصادر خارجية للنشر إلى الشبكات المفتوحة، مع التسوية بناءً على المساهمة من خلال آلية الرموز المميزة، بينما تظل تحديثات النموذج مركزية لضمان الاستقرار.

إمكانية التحقق: توفر تقنيتا المعرفة الصفرية وإثبات التعلم وسيلةً للتحقق مما إذا كانت العقد تقوم فعلاً بالاستدلال، مما يحل مشكلة النزاهة في الشبكات المفتوحة. في المهام الحتمية مثل كتابة الشفرات والاستدلال الرياضي، لا يحتاج المدققون إلا إلى التحقق من الإجابة لتأكيد صحة العمل، مما يحسن بشكل كبير مصداقية أنظمة التعلم المعزز اللامركزية.

تعتمد طبقة الحوافز على آلية إنتاج التعليقات القائمة على الرموز: يمكن لآلية الرموز الخاصة بـ Web3 أن تكافئ بشكل مباشر المساهمين في التعليقات التفضيلية لـ RLHF/RLAIF، مما يتيح توليد بيانات التفضيلات بهيكل حوافز شفاف وقابل للتسوية وبدون إذن؛ كما أن التخزين والخصم يقيدان جودة التعليقات بشكل أكبر، مما يشكل سوق تعليقات أكثر كفاءة وتوافقًا من التعهيد الجماعي التقليدي.

إمكانات التعلم المعزز متعدد الوكلاء (MARL): تُعدّ تقنية البلوك تشين بيئة عامة وشفافة ومتطورة باستمرار، تضمّ وكلاء متعددين. تقوم الحسابات والعقود والوكلاء بتعديل استراتيجياتهم باستمرار وفقًا لظروف قائمة على الحوافز، مما يمنحها إمكانات طبيعية لبناء بيئات اختبار واسعة النطاق للتعلم المعزز متعدد الوكلاء. على الرغم من أنها لا تزال في مراحلها الأولى، إلا أن خصائصها المتمثلة في الحالة العامة، والتنفيذ القابل للتحقق، والحوافز القابلة للبرمجة، تُوفّر ميزة أساسية لتطوير التعلم المعزز متعدد الوكلاء في المستقبل.

رابعًا: تحليل مشاريع الويب 3 الكلاسيكية + التعلم المعزز

استناداً إلى الإطار النظري المذكور أعلاه، سنقوم بتحليل موجز لأكثر المشاريع تمثيلاً في النظام البيئي الحالي:

برايم إنتلكت: نموذج التعلم المعزز غير المتزامن - prime-rl

تُكرّس شركة برايم إنتلكت جهودها لبناء سوق حوسبة عالمية مفتوحة، وتذليل العقبات أمام التدريب، وتعزيز التدريب التعاوني اللامركزي، وتطوير مجموعة متكاملة من تقنيات الذكاء الفائق مفتوحة المصدر. ويشمل نظامها: برايم كومبيوت (بيئة حوسبة سحابية/موزعة موحدة)، وعائلة نماذج إنتلكت (10 مليارات إلى أكثر من 100 مليار)، ومركز بيئات التعلم المعزز المفتوح (Environments Hub)، ومحرك البيانات التركيبية واسع النطاق سينثيتيك-1/2.

تم تصميم بنية Prime-rl، وهي المكون الأساسي للبنية التحتية لـ Prime Intellect، للبيئات الموزعة غير المتزامنة، وتُعدّ ذات صلة وثيقة بالتعلم المعزز. تشمل المكونات الأخرى بروتوكول الاتصال OpenDiLoCo، الذي يتغلب على اختناقات النطاق الترددي، وآلية التحقق TopLoc، التي تضمن سلامة العمليات الحسابية.

نظرة عامة على مكونات البنية التحتية الأساسية لشركة برايم إنتلكت

الأساس التقني: إطار عمل التعلم المعزز غير المتزامن prime-rl

يُعدّ prime-rl محرك التدريب الأساسي لـ Prime Intellect، وهو مصمم خصيصًا للبيئات اللامركزية غير المتزامنة واسعة النطاق. يحقق هذا المحرك استدلالًا عالي الإنتاجية وتحديثات مستقرة من خلال الفصل التام بين الممثل والمتعلم. لم يعد هناك حظر متزامن بين عمال النشر والمتعلمين؛ إذ يمكن للعُقد الانضمام أو المغادرة في أي وقت، مع سحب أحدث استراتيجية باستمرار وتحميل البيانات المُولّدة.

الممثل (عمال النشر): مسؤول عن استنتاج النموذج وتوليد البيانات. يدمج Prime Intellect محرك استنتاج vLLM بشكل مبتكر على جانب الممثل. تُمكّن تقنية PagedAttention وقدرة التجميع المستمر في vLLM الممثلين من توليد مسارات استنتاج بمعدل إنتاجية عالٍ للغاية.

المتعلم (المدرب): مسؤول عن تحسين السياسات. يقوم المتعلم بسحب البيانات بشكل غير متزامن من مخزن الخبرة المشترك لتحديث التدرجات دون انتظار انتهاء جميع الجهات الفاعلة من معالجة الدفعة الحالية.

المنسق: مسؤول عن جدولة أوزان النموذج وتدفق البيانات.

أهم ابتكارات برنامج prime-rl:

عدم التزامن الحقيقي: يتخلى prime-rl عن النموذج المتزامن لـ PPO التقليدي، ولا ينتظر العقد البطيئة ولا يتطلب محاذاة الدفعات، مما يتيح لأي عدد وأداء من وحدات معالجة الرسومات الوصول في أي وقت، مما يرسخ الأساس لجدوى التعلم المعزز اللامركزي.

التكامل العميق بين FSDP2 وMoE: من خلال تقطيع معلمات FSDP2 وتفعيل MoE المتفرق، يُمكّن prime-rl من تدريب مليارات النماذج بكفاءة في بيئة موزعة. لا يقوم الممثلون بتشغيل سوى الخبراء النشطين، مما يقلل بشكل كبير من ذاكرة وحدة معالجة الرسومات وتكاليف الاستدلال.

GRPO+ (تحسين السياسة النسبية الجماعية): تعمل تقنية GRPO على إلغاء شبكة Critic، مما يقلل بشكل كبير من الحمل الحسابي والذاكرة، وهي مُهيأة بطبيعتها للبيئات غير المتزامنة. كما تضمن تقنية GRPO+ في Prime-RL تقاربًا موثوقًا به في ظل ظروف زمن الاستجابة العالي من خلال آلية تثبيت.

عائلة نماذج INTELLECT: مؤشر على النضج في تكنولوجيا التعلم المعزز اللامركزية.

يُعد INTELLECT-1 (10B، أكتوبر 2024) أول من أثبت أن OpenDiLoCo يمكن تدريبه بكفاءة في الشبكات غير المتجانسة التي تمتد عبر ثلاث قارات (نسبة الاتصال <2٪، واستخدام قوة الحوسبة 98٪)، مما يكسر الفهم المادي للتدريب عبر المناطق.

INTELLECT-2 (32B، أبريل 2025) هو أول نموذج RL بدون أذونات، والذي يتحقق من قدرة التقارب المستقر لـ prime-rl و GRPO+ في بيئات التأخير متعددة الخطوات وغير المتزامنة، ويحقق RL اللامركزي بمشاركة قوة الحوسبة المفتوحة العالمية.

يستخدم نموذج INTELLECT-3 (106 مليار دولار أمريكي، وزارة التعليم، نوفمبر 2025) بنيةً متفرقةً تُفعّل 12 مليار مُعامل فقط. وقد تم تدريبه على 512×H200، وحقق أداءً استدلاليًا متميزًا (90.8% في AIME، و74.4% في GPQA، و81.9% في MMLU-Pro، وغيرها). ويتفوق أداؤه الإجمالي على أداء النموذج المركزي الخاص به، بل ويتجاوز حجم النموذج المصدر.

قامت شركة Prime Intellect أيضًا ببناء العديد من مكونات البنية التحتية الداعمة: يقلل OpenDiLoCo من اتصالات التدريب بين المناطق بمئات المرات من خلال الاتصالات المتفرقة زمنيًا واختلافات أوزان التكميم، مما يمكّن INTELLECT-1 من الحفاظ على استخدام بنسبة 98% عبر ثلاث شبكات قارية؛ يشكل TopLoc + Verifiers طبقة تنفيذ لامركزية للتحقق من بصمات الأصابع، بينما ينتج محرك بيانات التحقق من بصمات الأصابع في بيئة الاختبار سلاسل استدلال واسعة النطاق وعالية الجودة، ويمكّن نموذج 671B من العمل بكفاءة على مجموعات وحدات معالجة الرسومات (GPU) من الفئة الاستهلاكية من خلال التوازي في خطوط المعالجة. توفر هذه المكونات أساسًا هندسيًا بالغ الأهمية لتوليد البيانات والتحقق منها وإنتاجية الاستدلال في التعلم المعزز اللامركزي. تُظهر سلسلة INTELLECT أن هذه المجموعة التقنية قادرة على إنتاج نماذج ناضجة وعالمية المستوى، مما يمثل انتقال أنظمة التدريب اللامركزية من المرحلة المفاهيمية إلى مرحلة التطبيق العملي.

جينسين: مجموعات التعلم المعزز الأساسية: سرب و SAPO

يهدف مشروع Gensyn إلى تجميع قدرات الحوسبة غير المستخدمة عالميًا في بنية تحتية مفتوحة، موثوقة، وقابلة للتوسع بلا حدود لتدريب الذكاء الاصطناعي. يتضمن جوهره طبقة تنفيذ موحدة عبر الأجهزة، وشبكة تنسيق نظير إلى نظير، ونظام تحقق من المهام موثوق، يقوم بتخصيص المهام والمكافآت تلقائيًا من خلال العقود الذكية. بالاستفادة من خصائص التعلم المعزز، يقدم Gensyn آليات أساسية مثل RL Swarm وSAPO وSkipPipe لفصل عمليات التوليد والتقييم والتحديث، مستخدمًا "سربًا" من وحدات معالجة الرسومات غير المتجانسة عالميًا لتحقيق التطور الجماعي. في النهاية، لا يوفر المشروع قوة حوسبة فحسب، بل يوفر ذكاءً قابلًا للتحقق.

تطبيقات التعلم المعزز المكدس من جينسين

RL Swarm: محرك تعلم معزز تعاوني لامركزي

يُقدّم RL Swarm نموذجًا تعاونيًا جديدًا تمامًا. لم يعد مجرد نظام بسيط لتوزيع المهام، بل حلقة "توليد-تقييم-تحديث" لا مركزية تحاكي التعلم الاجتماعي البشري، على غرار عملية التعلم التعاوني، مع حلقة لا نهائية:

المُحلِّلات (المُنفِّذات): مسؤولة عن استنتاج النموذج المحلي وتوليد التوزيع، بغض النظر عن تباين العُقد. يدمج Gensyn مُحرك استنتاج عالي الإنتاجية (مثل CodeZero) محليًا، والذي يُمكنه إخراج المسار الكامل بدلاً من الإجابة فقط.

المقترحون: توليد المهام ديناميكيًا (المسائل الرياضية، ومسائل البرمجة، وما إلى ذلك) لدعم تنوع المهام والصعوبة التكيفية لتعلم المناهج الدراسية.

يستخدم المُقيّمون "نماذج تقييم" أو قواعد ثابتة لتقييم عمليات النشر المحلية وتوليد إشارات مكافأة محلية. يمكن تدقيق عملية التقييم، مما يقلل من فرص السلوكيات الضارة.

تشكل هذه العناصر الثلاثة مجتمعة هيكلاً تنظيمياً للتعلم المعزز من نظير إلى نظير، مما يتيح التعلم التعاوني على نطاق واسع دون الحاجة إلى جدولة مركزية.

SAPO: خوارزمية لتحسين السياسات لإعادة البناء اللامركزية: تركز خوارزمية SAPO (تحسين سياسات أخذ عينات السرب) على "مشاركة بيانات التوزيع وتصفية عينات الإشارة الخالية من التدرجات، بدلاً من مشاركة التدرجات". من خلال أخذ عينات التوزيع اللامركزية على نطاق واسع، ومعاملة بيانات التوزيع المستلمة على أنها مُولّدة محليًا، تحافظ الخوارزمية على التقارب التفاضلي في بيئات ذات تنسيق لامركزي وزمن استجابة عالٍ. بالمقارنة مع خوارزمية تحسين سياسات أخذ العينات (PPO)، التي تعتمد على شبكات Critic وتتطلب تكاليف حسابية عالية، أو خوارزمية تحسين سياسات أخذ العينات الجماعية (GRPO)، التي تعتمد على تقدير ميزة المجموعة الداخلية، تُمكّن خوارزمية SAPO وحدات معالجة الرسومات (GPUs) من الفئة الاستهلاكية من المشاركة بفعالية في تحسين التعلم المعزز واسع النطاق بنطاق ترددي منخفض للغاية.

من خلال RL Swarm وSAPO، يُبرهن Gensyn على أن التعلم المعزز (وخاصةً RLVR بعد التدريب) مُلائمٌ بطبيعته للبنى اللامركزية، لأنه يعتمد بشكل أكبر على عمليات نشر واسعة النطاق ومتنوعة بدلاً من مزامنة المعلمات عالية التردد. وبدمج أُطر التحقق من صحة PoL وVerde، يُقدم Gensyn مسارًا بديلاً لتدريب نماذج ذات تريليونات المعلمات، لم يعد يعتمد على شركة تقنية عملاقة واحدة: شبكة فائقة الذكاء ذاتية التطور تتألف من ملايين وحدات معالجة الرسومات غير المتجانسة حول العالم.

نوس ريسيرش: أتروبوس، بيئة تعلم معزز قائمة على التحقق

تعمل شركة Nous Research على بناء بنية تحتية معرفية لامركزية ذاتية التطور. وتتألف مكوناتها الأساسية - Hermes وAtropos وDisTrO وPsyche وWorld Sim - من نظام ذكي مغلق الحلقة يتطور باستمرار. وعلى عكس العملية الخطية التقليدية المتمثلة في "التدريب المسبق - التدريب اللاحق - الاستدلال"، تستخدم Nous تقنيات التعلم المعزز مثل DPO وGRPO وأخذ العينات بالرفض لتوحيد توليد البيانات والتحقق منها والتعلم والاستدلال في حلقة تغذية راجعة مستمرة، مما يخلق نظامًا بيئيًا للذكاء الاصطناعي مغلق الحلقة يتحسن ذاتيًا باستمرار.

نظرة عامة على مكون أبحاث نوس

طبقة النموذج: هيرميس وتطور القدرة على التفكير

تُعد سلسلة Hermes واجهة المستخدم الرئيسية لنموذج Nous Research، ويُظهر تطورها بوضوح مسار انتقال الصناعة من التوافق التقليدي بين SFT/DPO إلى التعلم المعزز بالاستدلال (RL):

هيرميس 1-3: محاذاة التعليمات وقدرة الوكيل المبكر: اعتمد هيرميس 1-3 على DPOs منخفضة التكلفة لمحاذاة التعليمات القوية، بينما استفاد هيرميس 3 من البيانات الاصطناعية وآلية التحقق Atropos التي تم تقديمها حديثًا.

Hermes 4 / DeepHermes: من خلال كتابة التفكير البطيء على غرار النظام 2 في الأوزان من خلال سلسلة من الأفكار، فإنه يحسن الأداء الرياضي وأداء الكود من خلال قياس وقت الاختبار ويعتمد على "أخذ عينات الرفض + التحقق من Atropos" لإنشاء بيانات استدلال عالية النقاء.

يعتمد DeepHermes أيضًا على GRPO ليحل محل PPO، الذي يصعب نشره بطريقة موزعة، مما يتيح تشغيل التعلم المعزز الاستدلالي على شبكة Psyche اللامركزية لوحدة معالجة الرسومات، مما يضع الأساس الهندسي لقابلية التوسع للتعلم المعزز الاستدلالي مفتوح المصدر.
 

أتروبوس: بيئة تعلم معزز قابلة للتحقق تعتمد على المكافآت

يُعدّ أتروبوس الركيزة الأساسية لنظام نوس للتعلم المعزز. فهو يدمج التوجيهات، واستدعاءات الأدوات، وتنفيذ التعليمات البرمجية، والتفاعلات متعددة المراحل في بيئة تعلم معزز موحدة، ويتحقق مباشرةً من صحة المخرجات، ويُقدّم إشارات مكافأة حتمية، مُستغنيًا عن عملية التعليق البشري المكلفة وغير القابلة للتوسع. والأهم من ذلك، في شبكة التدريب اللامركزية سايكي، يعمل أتروبوس كـ"حكم"، يتحقق مما إذا كانت العُقد تُحسّن سياساتها بالفعل، ويدعم إثبات التعلم القابل للتدقيق، ويحلّ جذريًا مشكلة موثوقية المكافأة في التعلم المعزز الموزع.

DisTrO و Psyche: طبقات التحسين للتعلم المعزز اللامركزي

يعتمد التدريب التقليدي لخوارزميات التعلم المعزز (RLHF/RLAIF) على مجموعات مركزية ذات نطاق ترددي عالٍ، وهو ما يمثل عائقًا أساسيًا لا تستطيع الأنظمة مفتوحة المصدر محاكاته. يقلل DisTrO تكلفة الاتصال في التعلم المعزز بشكل كبير من خلال فصل الزخم وضغط التدرج، مما يُمكّن من تشغيل التدريب على نطاق ترددي الإنترنت. من ناحية أخرى، ينشر Psyche آلية التدريب هذه على شبكة سلسلة الكتل، مما يسمح للعُقد بإكمال الاستدلال والتحقق وتقييم المكافآت وتحديث الأوزان محليًا، مُشكلاً بذلك حلقة مغلقة كاملة للتعلم المعزز.

في بنية Nous، يتحقق Atropos من صحة سلسلة الأفكار؛ ويضغط DisTrO بيانات التدريب؛ ويدير Psyche حلقة التعلم المعزز؛ ويوفر WorldSim بيئة معقدة؛ ويجمع Forge الاستدلالات الحقيقية؛ ويكتب Hermes جميع عمليات التعلم في الأوزان. لا يُعد التعلم المعزز مجرد مرحلة تدريب، بل هو البروتوكول الأساسي في بنية Nous الذي يربط البيانات والبيئة والنموذج والبنية التحتية، مما يجعل Hermes نظامًا حيويًا قادرًا على التحسين المستمر على شبكات الحوسبة مفتوحة المصدر.

شبكة التدرج: إيكو، بنية التعلم المعزز

تتمثل الرؤية الأساسية لشبكة Gradient في إعادة بناء نموذج الحوسبة للذكاء الاصطناعي من خلال "بنية ذكاء مفتوحة". تتألف بنية Gradient التقنية من مجموعة من البروتوكولات الأساسية التي يمكنها التطور بشكل مستقل مع إمكانية التعاون فيما بينها بشكل غير متجانس. يشمل نظامها، بدءًا من الاتصالات الأساسية وصولًا إلى التعاون الذكي على مستوى عالٍ، ما يلي: Parallax (الاستدلال الموزع)، وEcho (التدريب اللامركزي للتعلم المعزز)، وLattica (شبكة نظير إلى نظير)، وSEDM / Massgen / Symphony / CUAHarm (الذاكرة، والتعاون، والأمان)، وVeriLLM (التحقق الموثوق)، وMirage (محاكاة الدقة). تشكل هذه المحاكاة المشتركة بنية تحتية متطورة باستمرار.

إيكو - بنية تدريب التعلم المعزز

إيكو هو إطار عمل التعلم المعزز من شركة غراديانت. تقوم فلسفته التصميمية الأساسية على فصل مسارات التدريب والاستدلال والبيانات (المكافآت) في التعلم المعزز، مما يُمكّن من توسيع نطاق توليد النشر وتحسين السياسات وتقييم المكافآت وجدولتها بشكل مستقل في بيئات غير متجانسة. يعمل إيكو بشكل تعاوني في شبكات غير متجانسة تتكون من عقد استدلال وتدريب، محافظًا على استقرار التدريب في بيئات غير متجانسة واسعة النطاق بفضل آلية مزامنة خفيفة الوزن. هذا يُخفف بشكل فعال من حالات فشل SPMD واختناقات استخدام وحدة معالجة الرسومات الناتجة عن الاستدلال والتدريب المختلطين في DeepSpeed RLHF/VERL التقليدي.

يستخدم نظام Echo بنية ثنائية المجموعات للاستدلال والتدريب لتحقيق أقصى استفادة من القدرة الحاسوبية. تعمل المجموعتان بشكل مستقل ولا تعيق إحداهما الأخرى.

زيادة إنتاجية أخذ العينات إلى أقصى حد: يتكون سرب الاستدلال من وحدات معالجة الرسومات من الدرجة الاستهلاكية وأجهزة الحافة، ويستخدم Parallax لبناء عينات عالية الإنتاجية بطريقة متوازية مع خط الأنابيب، مع التركيز على توليد المسار؛

زيادة قوة حساب التدرج إلى أقصى حد: سرب التدريب، الذي يتكون من شبكات GPU من الدرجة الاستهلاكية والتي يمكن تشغيلها على مجموعات مركزية أو في مواقع متعددة حول العالم، مسؤول عن تحديثات التدرج ومزامنة المعلمات وضبط LoRA بدقة، مع التركيز على عملية التعلم.
 

للحفاظ على اتساق السياسات والبيانات، يوفر Echo بروتوكولين خفيفين للمزامنة: التسلسلي وغير المتزامن، لتحقيق إدارة اتساق ثنائية الاتجاه لأوزان السياسات ومساراتها.

وضع السحب التسلسلي | أولوية الدقة: يجبر جانب التدريب عقدة الاستدلال على تحديث إصدار النموذج قبل سحب مسار جديد، مما يضمن حداثة المسار، وهو أمر مناسب للمهام الحساسة للغاية لقدم السياسة؛

وضع الدفع والسحب غير المتزامن | الكفاءة أولاً: يقوم جانب الاستدلال بإنشاء مسارات باستمرار مع تسميات الإصدار، ويستهلكها جانب التدريب بوتيرته الخاصة، ويراقب المنسق انحرافات الإصدار ويطلق تحديثات الأوزان لزيادة استخدام الجهاز إلى أقصى حد.

في جوهرها، تعتمد Echo على Parallax (الاستدلال غير المتجانس في بيئات النطاق الترددي المنخفض) وعناصر التدريب الموزعة خفيفة الوزن (مثل VERL)، وتعتمد على LoRA لتقليل تكلفة التزامن عبر العقد، مما يتيح للتعلم المعزز العمل بثبات على الشبكات غير المتجانسة حول العالم.

الكأس المقدسة: التعلم المعزز في النظام البيئي Bittensor

يقوم Bittensor بإنشاء شبكة وظائف مكافأة ضخمة ومتفرقة وغير ثابتة من خلال آلية توافق Yuma الفريدة الخاصة به.

قامت شركة Covenant AI، ضمن منظومة Bittensor، ببناء مسار متكامل رأسيًا بدءًا من التدريب المسبق وحتى التدريب اللاحق للتعلم المعزز، باستخدام SN3 Templar وSN39 Basilica وSN81 Grail. يتولى SN3 Templar مسؤولية التدريب المسبق للنموذج الأساسي، بينما يوفر SN39 Basilica سوقًا للحوسبة الموزعة، ويعمل SN81 Grail كطبقة استدلال قابلة للتحقق للتدريب اللاحق للتعلم المعزز، حيث يقوم بالعمليات الأساسية لـ RLHF/RLAIF، ويكمل عملية التحسين ذات الحلقة المغلقة من النموذج الأساسي إلى استراتيجية المحاذاة.

يهدف بروتوكول GRAIL إلى إثبات صحة كل عملية نشر للتعلم المعزز وربطها بهوية النموذج باستخدام التشفير، مما يضمن إمكانية تنفيذ RLHF بشكل آمن في بيئة لا مركزية. وينشئ البروتوكول سلسلة ثقة من خلال آلية ثلاثية الطبقات:

توليد التحديات الحتمية: يتم توليد مهام التحدي غير المتوقعة ولكن القابلة للتكرار (مثل SAT و GSM8K) باستخدام إشارات عشوائية وتجزئة الكتل، مما يؤدي إلى القضاء على الغش المسبق للحساب؛

باستخدام أخذ عينات مؤشر PRF والتزامات الرسم التخطيطي، يمكن للمدققين أخذ عينات من سلاسل logprob والاستدلال على مستوى الرمز بتكلفة منخفضة للغاية للتأكد من أن عملية النشر قد تم إنشاؤها بالفعل بواسطة نموذج الإعلان.

ربط هوية النموذج: ترتبط عملية الاستدلال بالتوقيع المنظم لبصمة وزن النموذج وتوزيع الرموز، مما يضمن التعرف الفوري على استبدال النموذج أو إعادة تشغيل النتيجة. يوفر هذا أساسًا واقعيًا لتطبيق الاستدلال في التعلم المعزز.

استنادًا إلى هذه الآلية، تُطبّق شبكة Grail الفرعية عملية تدريب لاحقة قابلة للتحقق على غرار GRPO: حيث يُنشئ المعدّنون مسارات استدلال متعددة لنفس المشكلة، ويُقيّمها المُدقّقون بناءً على صحتها وجودة سلسلة الاستدلال ورضا SAT، ثم تُكتب النتائج المُعَيَّرة على السلسلة كأوزان TAO. تُظهر التجارب العامة أن هذا الإطار قد حسّن دقة MATH لـ Qwen2.5-1.5B من 12.7% إلى 47.6%، مما يُثبت قدرته على منع الغش وتعزيز قدرات النموذج بشكل كبير. في حزمة تدريب Covenant AI، تُشكّل Grail حجر الزاوية للثقة والتنفيذ لـ RLVR/RLAIF اللامركزية، ولم يتم إطلاقها رسميًا على الشبكة الرئيسية بعد.

الذكاء الاصطناعي الجزئي: التعلم المعزز القائم على المنافسة (RLFC)

تعتمد بنية Fraction AI بشكل أساسي على التعلم المعزز من خلال المنافسة (RLFC) وتصنيف البيانات المُحفَّز بالألعاب، مما يستبدل المكافآت الثابتة والتصنيفات اليدوية للتعلم المعزز التقليدي من خلال المنافسة ببيئة تنافسية مفتوحة وديناميكية. يتنافس العملاء فيما بينهم في مساحات مختلفة، وتشكل تصنيفاتهم النسبية، إلى جانب درجات مُقيِّم الذكاء الاصطناعي، مكافآت فورية، مما يحوّل عملية التوافق إلى نظام ألعاب متعدد العملاء متصل بالإنترنت بشكل مستمر.

الاختلافات الأساسية بين RLHF التقليدي وRLFC الخاص بـ Fraction AI:

تكمن القيمة الأساسية لـ RLFC في أن المكافآت لم تعد تأتي من نموذج واحد، بل من خصوم ومقيّمين يتطورون باستمرار، مما يمنع استغلال نموذج المكافأة ويحول دون وقوع النظام البيئي في فخ الحلول المثلى المحلية من خلال تنوع الاستراتيجيات. يحدد هيكل المساحات طبيعة اللعبة (محصلة صفرية أو محصلة إيجابية)، مما يؤدي إلى ظهور سلوكيات معقدة في التفاعلات التنافسية والتعاونية.

من حيث بنية النظام، يقسم نظام Friction AI عملية التدريب إلى أربعة مكونات رئيسية:

الوكلاء: وحدات سياسات خفيفة الوزن تعتمد على LLM مفتوحة المصدر، وموسعة بأوزان تفاضلية عبر QLoRA، ويتم تحديثها بتكلفة منخفضة؛

المساحات: بيئات مجال مهمة معزولة حيث يدفع العملاء للدخول ويحصلون على مكافآت بناءً على المكاسب والخسائر؛

حكام الذكاء الاصطناعي: طبقة مكافآت فورية مبنية باستخدام RLAIF توفر تقييمًا قابلاً للتطوير ولا مركزيًا؛

إثبات التعلم: يربط تحديثات السياسة بنتائج تنافسية محددة، مما يضمن أن عملية التدريب قابلة للتحقق ويمنع الغش.

جوهر الذكاء الاصطناعي الجزئي هو بناء محرك تطوري تعاوني بين الإنسان والآلة. يقوم المستخدمون، بصفتهم "محسّنين فائقين" على مستوى الاستراتيجية، بتوجيه مسار الاستكشاف من خلال الهندسة السريعة وتكوين المعلمات الفائقة؛ بينما تقوم العوامل تلقائيًا بتوليد كميات هائلة من أزواج التفضيلات عالية الجودة في منافسة على المستوى الجزئي. يُمكّن هذا النموذج من ترميز البيانات لتحقيق حلقة أعمال مغلقة من خلال "الضبط الدقيق غير المعتمد على الثقة".

مقارنة بين بنى مشاريع التعلم المعزز على منصة Web3

خامساً: ملخص وتوقعات: مسارات وفرص التعلم المعزز × Web3

استنادًا إلى التحليل التفكيكي للمشاريع الرائدة المذكورة آنفًا، لاحظنا أنه على الرغم من اختلاف نقاط انطلاق كل فريق (الخوارزميات، أو الهندسة، أو الأسواق)، إلا أنه عند دمج التعلم المعزز مع Web3، تتقارب منطقهم المعماري الأساسي في نموذج "الفصل-التحقق-التحفيز" المتسق للغاية. ولا يُعد هذا مجرد مصادفة تقنية، بل نتيجة حتمية لتكييف الشبكات اللامركزية مع الخصائص الفريدة للتعلم المعزز.

السمات المعمارية العامة للتعلم المعزز: معالجة القيود المادية الأساسية وقضايا الثقة.

فصل عمليات النشر والتعلم – بنية حسابية محددة مسبقًا

يتم الاستعانة بمصادر خارجية لتقنية Rollout المتوازية والمتفرقة في جميع أنحاء العالم، مع تحديثات المعلمات عالية التردد التي تركز على عدد قليل من عقد التدريب، كما هو الحال في بنية الممثل-المتعلم غير المتزامن في Prime Intellect وبنية المجموعة المزدوجة في Gradient Echo.

الثقة القائمة على التحقق - تطوير البنية التحتية

في الشبكات غير المرخصة، يجب فرض الأصالة الحسابية من خلال التصميم الرياضي والآلي، والذي يمثل أساليب التحقق المشفرة مثل PoL من Gensyn وTOPLOC من Prime Intellect وGrail.

حلقة الحوافز الرمزية – التنظيم الذاتي للسوق

يشكل توفير القدرة الحاسوبية، وتوليد البيانات، والتحقق منها وتصنيفها، وتوزيع المكافآت حلقةً مغلقة. ومن خلال تحفيز المشاركة عبر المكافآت وقمع الغش عبر العقوبات، يمكن للشبكة أن تظل مستقرة وتستمر في التطور في بيئة مفتوحة.

مسارات تكنولوجية متباينة: نقاط اختراق مختلفة ضمن بنية متسقة

على الرغم من تشابه تصميماتها المعمارية، فقد اختار كل مشروع مزايا تكنولوجية مختلفة بناءً على خصائصه الخاصة:

تسعى مجموعة Nous Research، المتخصصة في تطوير الخوارزميات، إلى معالجة التناقض الأساسي (اختناق النطاق الترددي) في التدريب الموزع من منظور رياضي. ويهدف مُحسِّن DisTrO الخاص بهم إلى ضغط عملية نقل التدرج آلاف المرات، بهدف تمكين تدريب النماذج الكبيرة حتى عبر الإنترنت المنزلي عريض النطاق - وهو ما يُعرف بـ"هجوم تقليل الأبعاد" للتغلب على القيود المادية.

نهج هندسة النظم (برايم إنتلكت، جينسين، غراديانت): يركز على بناء "أنظمة تشغيل الذكاء الاصطناعي" من الجيل التالي. تم تصميم ShardCast من برايم إنتلكت وParallax من غراديانت لتحقيق أعلى كفاءة ممكنة للمجموعات غير المتجانسة في ظل ظروف الشبكة الحالية من خلال تقنيات هندسية متطورة.

نظرية الألعاب القائمة على السوق (Bittensor، Fraction AI): تركز على تصميم وظائف المكافأة. من خلال آليات تسجيل مصممة ببراعة، توجه هذه النظرية عمال التعدين لإيجاد استراتيجيات مثلى بشكل تلقائي، مما يسرع من ظهور الذكاء.

نقاط القوة والتحديات وتوقعات نهاية اللعبة

في نموذج الجمع بين التعلم المعزز و Web3، تنعكس مزايا التسلسل الهرمي للنظام أولاً في إعادة كتابة هيكل التكلفة وهيكل الحوكمة.

إعادة تشكيل التكلفة: بعد التدريب في التعلم المعزز، هناك طلب غير محدود على أخذ العينات، بينما يمكن لـ Web3 حشد قوة الحوسبة العالمية طويلة المدى بتكلفة منخفضة للغاية، وهي ميزة تكلفة لا يستطيع بائعو السحابة المركزية مجاراتها.

التوافق السيادي: من خلال كسر احتكار الشركات الكبيرة لقيم الذكاء الاصطناعي (التوافق)، يمكن للمجتمع التصويت بالرموز لتحديد "ما هي الإجابة الجيدة" للنموذج، وبالتالي إضفاء الطابع الديمقراطي على حوكمة الذكاء الاصطناعي.

وفي الوقت نفسه، يواجه هذا النظام أيضاً قيدين هيكليين رئيسيين.

جدار النطاق الترددي: على الرغم من الابتكارات مثل DisTrO، لا يزال زمن الوصول المادي يحد من التدريب الكامل لنماذج المعلمات الضخمة للغاية (70 مليار+)، ويقتصر الذكاء الاصطناعي Web3 حاليًا على الضبط الدقيق والاستدلال.

قانون غودهارد (اختراق المكافآت): في الشبكات ذات الحوافز العالية، يميل المعدنون إلى "المبالغة في ملاءمة" قواعد المكافآت (تجميع النقاط) بدلاً من تحسين ذكائهم الحقيقي. تصميم دالة مكافآت قوية لمنع الغش هو عملية مستمرة.

هجمات العامل البيزنطي الخبيثة: تُعطّل هذه الهجمات تقارب النموذج من خلال التلاعب النشط بإشارات التدريب وتسميمها. لا يكمن المبدأ الأساسي في تصميم دوال مكافأة مضادة للغش بشكل مستمر، بل في بناء آلية قوية وفعّالة ضد هذه الهجمات.

إن الجمع بين التعلم المعزز وWeb3 يعيد صياغة آلية "كيفية إنتاج الذكاء وتوجيهه وتوزيع قيمته". ويمكن تلخيص تطوره في ثلاثة اتجاهات متكاملة:

شبكة تدريب الدفع اللامركزية: من آلات تعدين قوة الحوسبة إلى شبكات السياسات، والاستعانة بمصادر خارجية للنشر المتوازي والقابل للتحقق إلى وحدات معالجة الرسومات العالمية طويلة الذيل، والتركيز على سوق الاستدلال القابل للتحقق على المدى القصير، والتطور إلى شبكة فرعية للتعلم المعزز لتجميع المهام على المدى المتوسط؛

تحويل التفضيلات والمكافآت إلى أصول: من عمل تصنيف البيانات إلى حقوق ملكية البيانات. يتضمن ذلك تحويل التفضيلات والمكافآت إلى أصول، وتحويل التعليقات عالية الجودة ونموذج المكافآت إلى أصول بيانات قابلة للإدارة والتوزيع، والارتقاء بـ "عمل تصنيف البيانات" إلى "حقوق ملكية البيانات".

التطور "الصغير ولكن الجميل" في المجالات الرأسية: في السيناريوهات الرأسية حيث تكون النتائج قابلة للتحقق والفوائد قابلة للقياس الكمي، يتم تطوير وكلاء التعلم المعزز المخصصين الصغار ولكن الأقوياء، مثل تنفيذ استراتيجية التمويل اللامركزي وتوليد التعليمات البرمجية، والتي تربط بشكل مباشر تحسين الاستراتيجية بالتقاط القيمة ومن المتوقع أن تتفوق على النماذج العامة المغلقة المصدر.

بشكل عام، تكمن الفرصة الحقيقية للتعلم المعزز × Web3 ليس في تكرار نسخة لامركزية من OpenAI، ولكن في إعادة كتابة "علاقات الإنتاج الذكية": جعل تنفيذ التدريب سوقًا مفتوحًا لقوة الحوسبة، وجعل المكافآت والتفضيلات أصولًا قابلة للإدارة على السلسلة، وإعادة توزيع القيمة التي يجلبها الذكاء بحيث لا تتركز على المنصة، بل بين المدربين والمحاذيين والمستخدمين.

تنويه: كُتبت هذه المقالة بمساعدة أدوات الذكاء الاصطناعي ChatGPT-5 وGemini 3. بذل الكاتب قصارى جهده لتدقيق المعلومات والتأكد من صحتها ودقتها، ولكن قد تحدث بعض الأخطاء. نعتذر عن أي إزعاج. من المهم الإشارة إلى أن سوق العملات الرقمية غالبًا ما يشهد تباينًا بين أساسيات المشروع وأداء سعره في السوق الثانوية. هذه المقالة لأغراض إعلامية وأكاديمية/بحثية فقط، ولا تُعدّ نصيحة استثمارية، ولا ينبغي اعتبارها توصية بشراء أو بيع أي عملة رقمية.