عندما نقول للناس إن Cast يستخدم أربعة أدوار منفصلة من الذكاء الاصطناعي، يكون الرد الأول غالبًا: «أليس هذا مبالغة؟» إليك لماذا ليس كذلك، مع الأدلة.
رأيان أفضل من رأي واحد
في MIT (يفتح في علامة تبويب جديدة) وGoogle (يفتح في علامة تبويب جديدة)، ترك Yilun Du (يفتح في علامة تبويب جديدة) وزملاؤه عدة نسخ من نموذج لغوي تتناقش فيما بينها قبل أن تجيب، في بحث Improving Factuality and Reasoning in Language Models through Multiagent Debate (يفتح في علامة تبويب جديدة). مع ثلاثة وكلاء وجولتين، ارتفعت الدقة في الحساب من 67.0% إلى 81.8%، وفي مسائل الرياضيات المدرسية من 77.0% إلى 85.0%، وفي الحقائق السيرية من 66.0% إلى 73.8%.
التغذية الراجعة تفيد حتى داخل نموذج واحد. فقد أظهرت دراسة Self-Refine (يفتح في علامة تبويب جديدة) أن التوليد ثم النقد ثم المراجعة حسّنت النتائج بنحو «~20% بالقيمة المطلقة في المتوسط» عبر سبع مهام. أما وكلاء Reflexion (يفتح في علامة تبويب جديدة) الذين يكتبون ملاحظات عن أخطائهم، فبلغوا «91% في دقة pass@1 على معيار HumanEval للبرمجة»، مقابل 80% لدى GPT-4 وحده.
لكن النموذج لا يستطيع دائمًا أن يتحقق من نفسه
هنا المفارقة التي شكّلت Cast. وجد Jie Huang (يفتح في علامة تبويب جديدة) وزملاؤه في Google DeepMind (يفتح في علامة تبويب جديدة)، في ورقتهم Large Language Models Cannot Self-Correct Reasoning Yet (يفتح في علامة تبويب جديدة)، أن «النماذج اللغوية تواجه صعوبة في تصحيح إجاباتها بنفسها دون تغذية راجعة خارجية»، وأن «أداءها يتراجع أحيانًا بعد التصحيح الذاتي». ولاحظ فريق Du أمرًا مشابهًا: النماذج «تؤكد بثقة أن إجابتها صحيحة» حتى حين تكون خاطئة.
لذلك يحتاج المدقق إلى زاوية نظر مختلفة. يحتاج إلى تعليمات مختلفة وسياق مختلف، والأفضل ألا يعرف أي إجابة تناسبه.
القضاة الآليون ينفعون، مع تحيزات معروفة
هل يستطيع الذكاء الاصطناعي أن يحكم على الجودة أصلًا؟ وجدت دراسة MT-Bench (يفتح في علامة تبويب جديدة) أن النماذج اللغوية القاضية القوية تصل إلى «اتفاق يتجاوز 80%» مع تفضيلات البشر، وهو قريب من اتفاق البشر فيما بينهم. ووثقت الدراسة أيضًا «تحيزات الموضع والإسهاب والتفضيل الذاتي». وهذا مفيد ما دمت تصمم النظام لتفادي هذه التحيزات.
كيف يصبح ذلك أربعة أدوار
وكيل الاختيار يبني الشخصيات ولا يرى أسئلتك أبدًا، فلا يستطيع اختيار طاقم يميل إلى الإجابات التي تريدها. المخرج يجري المقابلة ولا يرى القصة الخلفية المخفية لعضو الطاقم، فلا يستطيع توجيهه. عضو الطاقم يجيب من داخل شخصيته ولا يرى فرضياتك ولا المقابلات الأخرى. الناقد يرى كل شيء، ولا يتكلم على المسرح أبدًا، ويعيد الإجابات الضعيفة مع سبب مسجل.
في الدراسة النموذجية على موقعنا، راجع الناقد أكثر من ألف سطر وأعاد نسبة ملموسة منها. هذا ليس خللًا. هذا النظام يعمل.
“«رغم أن الإجابات كانت خاطئة، كانت النماذج اللغوية تؤكد بثقة أن إجابتها صحيحة.»”
فكرة قديمة في مكان جديد
لا تسمح المصارف لمن يوافق على دفعة أن يرسلها أيضًا. ولا يدقق المدققون دفاترهم الخاصة. يسمى هذا المبدأ فصل المهام (يفتح في علامة تبويب جديدة)، وهو موجود لأن الناس ضعفاء في اكتشاف أخطائهم ويميلون إلى إخفائها. وتستخدم التجارب السريرية فكرة مشابهة: في التجربة المعمّاة (يفتح في علامة تبويب جديدة)، لا يعرف من يقيسون النتائج من تلقى العلاج.
يطبق Cast الفكرتين على البحث. كل دور لا يرى ما قد يحرف حكمه، ولا يراجع أي دور عمله بنفسه.
من يرى ماذا
- يرى وكيل الاختيار وصف جمهورك والبحث الذي يجمعه. ولا يرى أسئلة المقابلة أبدًا.
- يرى عضو الطاقم خلفيته والأسئلة التي يطرحها المخرج. ولا يرى فرضيتك ولا المستخدمين الافتراضيين الآخرين.
- يرى المخرج أسئلتك والمحادثة حتى لحظتها. ولا يرى الخلفية المخفية لعضو الطاقم، فلا يستطيع التوجيه نحوها.
- يرى الناقد الخلفية والمصادر والإجابة. ومهمته الوحيدة رفض الأسطر التي لا تصمد.
لماذا لا نستخدم نموذجًا واحدًا ممتازًا؟
لو تولى نموذج واحد الأدوار الأربعة، لعرف كل شيء دفعة واحدة: آمالك، وأسرار الشخصية، والأسئلة المقبلة. وحتى مع حسن النية، تتسرب هذه المعرفة المشتركة. الشخصية التي «تعرف» ما تريد سماعه تميل إلى قوله. تقسيم الأدوار لا يعني استخدام ذكاء اصطناعي أكثر. إنه ضبط لتدفق المعلومات، وهو أقدم حيلة في تصميم الأبحاث.
الأبحاث وراء فكرة «نموذج يتحقق من نموذج آخر»
لتقسيم عمل الذكاء الاصطناعي بين أدوار تاريخ بحثي جاد. في AI safety via debate (يفتح في علامة تبويب جديدة)، اقترح Geoffrey Irving وPaul Christiano وDario Amodei أن يتجادل وكيلان ويقرر حكم أيهما قدم «المعلومات الأكثر صدقًا وفائدة». وفي ورقة Constitutional AI (يفتح في علامة تبويب جديدة) من Anthropic (يفتح في علامة تبويب جديدة)، دُرّب نموذج على «نقد ذاتي ومراجعات» ولّدها الذكاء الاصطناعي وفق قائمة مكتوبة من المبادئ. وبيّن باحثو Google في Self-Consistency (يفتح في علامة تبويب جديدة) أن أخذ عدة مسارات استدلال والإبقاء على الإجابة الأكثر اتساقًا حسّن نتائج اختبارات الرياضيات، بمكسب بلغ 17.9% على GSM8K.
هناك عيب، وهو يشكّل نظرتنا إلى الناقد. وجد Arjun Panickssery وSamuel Bowman وShi Feng في ورقة LLM Evaluators Recognize and Favor Their Own Generations (يفتح في علامة تبويب جديدة) أن نماذج مثل GPT-4 وLlama 2 تتعرف في كثير من الأحيان على كتاباتها، وأن هذا التعرف يرتبط بمنح مخرجاتها درجات أعلى. والمدقق الذي يحب أسلوبه ليس مدققًا محايدًا. لذلك يهم أن يكون الناقد دورًا مستقلًا، بتعليمات مستقلة وبمنظور خاص به إلى الأدلة.
النسخة البشرية: المحاورون يغيرون الإجابات
يعرف باحثو المسوح منذ زمن أثر المحاور (يفتح في علامة تبويب جديدة): تتغير الإجابات بحسب من يسأل وكيف. ويسمي علماء النفس النمط الأوسع أثر توقع الملاحِظ (يفتح في علامة تبويب جديدة)، حيث تتسرب آمال الباحث إلى النتائج. والقصة التحذيرية الشهيرة هي Clever Hans (يفتح في علامة تبويب جديدة)، حصان بدا أنه يحسب، لكنه كان يلتقط إشارات دقيقة من المحيطين به.
صُمم دور المخرج وفي الذهن Clever Hans. فهو لا يعرف الإجابة التي تأملها، فلا يستطيع أن يومئ موافقًا حين يسمعها.
مسرد بالأجزاء المتحركة
وكيل الاختيار. يبحث في المصادر ويبني خلفية كل عضو في الطاقم من ظروفه، مثل الوظيفة والمكان والميزانية والتاريخ.
المخرج. يجري مقابلات مع مستخدمين افتراضيين بالتوازي، ويتابع الإجابات الغامضة بأسئلة إضافية، ويتجنب الترويج والإيحاء بالإجابة.
عضو الطاقم. مستخدم افتراضي يجيب بلسان شخصيته ومن خلفيته الخاصة، دون أن يرى فرضيتك.
الناقد. يراجع كل سطر في ضوء الخلفية والمصادر، ويعيد الإجابات الخارجة عن الشخصية أو غير المدعومة أو الحريصة أكثر من اللازم على إرضائك.
التباين. الإعداد الذي يتحكم في مدى اختلاف المستخدمين الافتراضيين بعضهم عن بعض.
مثال تطبيقي: إجابة واحدة وأربع نقاط تحقق
تخيل شركة ناشئة للتأمين على الحيوانات الأليفة تختبر خطة شهرية جديدة مع أصحاب الكلاب. هذه حياة إجابة واحدة.
- يبني وكيل الاختيار عضوًا في الطاقم: معلمة متقاعدة لديها كلب سبانيل مسن، ومعاش ثابت، وفاتورة بيطرية كبيرة في الربيع الماضي. من مصادرها معلومات عن أسعار الأطباء البيطريين المحليين وجدها وكيل الاختيار.
- المخرج يعرف الأسئلة ولا يعرف القصة الخلفية لعضو الطاقم، فيسأل: «حدثيني عن آخر مرة احتاج فيها كلبك إلى الطبيب البيطري.»
- يجيب عضو الطاقم من تاريخها الخاص: الفاتورة، والصدمة، وكيف سددتها من مدخراتها.
- ثم يسألها المخرج عن رأيها في الخطة الجديدة. مسودتها الأولى دافئة ومتحمسة.
- يقارن الناقد هذا الحماس بدخلها الثابت وبعدم ثقتها المعلن في الاشتراكات الشهرية، فيعلّم السطر بأنه حريص أكثر من اللازم على الإرضاء، ويسجل السبب. والإجابة المعاد توليدها أكثر حذرًا: اهتمام بالخطة، لكن بشرط ألا تستثني الكلاب المسنة.
هذا السطر الأخير هو المفيد. إنه شرط محدد يستطيع المؤسس التحقق منه مع أصحاب كلاب حقيقيين ومع شركة التأمين.
حدود فصل الأدوار
فصل الأدوار يقلل التحيز ولا يزيله. إذا كان كل دور يعمل على نماذج دُربت على بيانات متشابهة، فقد تشترك في النقاط العمياء نفسها، مثل الميل الغربي الذي شرحناه في مقالنا عن أنماط الفشل. ولا يخبرك أي قدر من التحقق الداخلي بما سيفعله العملاء الحقيقيون. عامل سجل الناقد دليلًا على أن الدراسة فُحصت بعناية، لا برهانًا على صحة استنتاجاتها.
أسئلة عن الأدوار الأربعة
هل الأدوار الأربعة نماذج ذكاء اصطناعي مختلفة؟
يمكن ذلك. والأهم أن لكل دور تعليمات ومعلومات مختلفة. وحيث يفيد ذلك، نستخدم نموذجًا مختلفًا للناقد كي لا يشارك الآخرين في النقاط العمياء نفسها.
هل يجعل هذا الدراسات أبطأ؟
قليلًا، ولهذا تستغرق الدراسة نحو ساعة بدل ثوانٍ. ونرى أن بضع دقائق إضافية للتحقق المستقل صفقة جيدة.
هل أستطيع رؤية ما فعله كل دور؟
نعم. تعرض النصوص المكتوبة المخرج وعضو الطاقم، وتعرض لوحة الطاقم الخلفية والمصادر، ويعرض سجل الناقد كل سطر علّمه.
ما المقصود بنموذج لغوي قاضٍ؟
هو استخدام نموذج لغوي لتقييم مخرجات نموذج آخر أو إنسان. ينجح بدرجة معقولة في مهام كثيرة، لكن الأبحاث توثق تحيزات مثل تفضيل الإجابات الأطول، وتفضيل الخيار الأول، وتفضيل كتابته هو.
هل قد تشترك الأدوار الأربعة في النقاط العمياء نفسها؟
نعم. تمنع التعليمات المختلفة وتدفقات المعلومات المختلفة مشكلات كثيرة، لكن النماذج المتشابهة في تدريبها قد تغفل الأشياء نفسها. لذلك ننصح بالتحقق من النتائج الأساسية مع أشخاص حقيقيين.
ابدأ من البداية: الورقة التي جعلت العينات السيليكونية محل احترام.
