إذا حررت يومًا نص شخص آخر، فأنت تعرف أنك ترى أخطاءه أوضح من أخطائك. والنماذج اللغوية كذلك، بل أكثر. هذه الملاحظة البسيطة هي سبب وجود دور في Cast مهمته الوحيدة أن يشك.
لماذا يجب أن يكون المدقق منفصلًا
وصف باحثون في Google DeepMind (يفتح في علامة تبويب جديدة) المشكلة بوضوح في ورقة Large Language Models Cannot Self-Correct Reasoning Yet (يفتح في علامة تبويب جديدة): النماذج «تواجه صعوبة في تصحيح إجاباتها دون تغذية راجعة خارجية»، وفي بعض الحالات «يتراجع أداؤها حتى بعد التصحيح الذاتي». أن تطلب من النموذج نفسه تقييم إجابته يشبه أن تطلب من طالب تصحيح امتحانه. لذلك الناقد دور مستقل، له تعليماته الخاصة، ولا يتكلم أبدًا على المسرح.
ما الذي يفحصه الناقد
يطرح الناقد أربعة أسئلة عن كل سطر ينطق به مستخدم افتراضي. هل هذا منسجم مع الشخصية؟ المدير المالي الحذر الذي يتحمس فجأة يُعلَّم سطره. هل في الكلام واقعة يمكن التحقق منها، وهل تصمد؟ تُقارن الادعاءات بالموجز البحثي للمستخدم الافتراضي. هل كان السؤال موجِّهًا، أم كانت الإجابة حريصة على إرضاء السائل؟ تُظهر أبحاث Anthropic (يفتح في علامة تبويب جديدة) عن التملق (يفتح في علامة تبويب جديدة) أن المساعدين يميلون إلى قول ما يريد الناس سماعه، لذلك دُرِّب الناقد على الشك في الحماسة. هل هو متسق؟ تُعاد الإجابات التي تناقض شيئًا قاله الشخص سابقًا.
ما الذي يحدث للسطر المعلَّم
لا تُحذف الإجابة المعلَّمة وتُنسى. تُعاد مع السبب، وتُعاد صياغتها، وتُسجَّل. ويمكنك الاطلاع على السجل. في دراسة Fleetwise النموذجية التي يمكنك استكشافها في موقعنا، راجع الناقد 1,180 سطرًا وأعاد 83 منها، أي نحو 7%. بعضها كان إحصاءات مختلقة. وفي أحدها قال متشكك، وصف نفسه بذلك، فجأة: «فكرة رائعة وسنوقّع بالتأكيد». لم تصل تلك الإجابة إلى التقرير.
هناك أدلة جيدة على أن هذا النوع من المراجعة الخارجية يعمل. ففي Self-Refine (يفتح في علامة تبويب جديدة)، حسّنت إضافة خطوة للملاحظات والمراجعة المخرجات بنحو «20% مطلقة في المتوسط» عبر سبع مهام، أي بنحو 20 نقطة مئوية. كما وجدت دراسات عن النماذج اللغوية التي تعمل حكّامًا (LLM judges (يفتح في علامة تبويب جديدة)) أن النماذج القوية تتفق مع تفضيلات البشر في أكثر من 80% من الحالات، مع تحذير من انحيازات معروفة مثل تفضيل الإجابات الأطول. ولهذا يقيّم الناقد لدى Cast مضمون الإجابة لا طولها.
ما الذي تحصل عليه
نتائج يمكنك الدفاع عنها. حين يظهر اقتباس في تقريرك، فقد نجا من قارئ كانت مهمته رفضه. هذا معيار أعلى بكثير من «قال النموذج ذلك»، ونعتقد أن أبحاث العملاء تستحقه.
المحررون والفرق الحمراء وقرّاء المراجعة الثانية
لكل مجال جاد نسخته من الناقد. في الصحف يوجد محررون. وتستعين فرق الأمن بفريق أحمر (يفتح في علامة تبويب جديدة) يهاجم أنظمتها بنفسه. ويقيس الباحثون النوعيون الاتساق بين المقيّمين (يفتح في علامة تبويب جديدة) حين يرمّز شخصان النص نفسه ثم يقارنان النتيجة. القاسم المشترك أن قارئًا ثانيًا مستقلًا يلتقط ما لا يراه القارئ الأول.
أربعة أنواع من الأسطر يرفضها الناقد
- خارج الشخصية: مشترٍ حذر يتحمس فجأة، أو موظف مبتدئ يتكلم كأنه رئيس تنفيذي.
- وقائع بلا سند: سعر أو إحصاء أو ادعاء يناقض مصادر المستخدم الافتراضي.
- حرص مفرط على الإرضاء: مديح بلا أسباب، أو موافقة تصل قبل أن ينتهي السؤال.
- حشو عام: إجابات يمكن أن تصدر عن أي شخص، بلا تفصيل من حياة المستخدم الافتراضي.
قراءة سجل الناقد
سجل الناقد من أكثر أجزاء دراسة Cast فائدة، ومعظم الناس يتجاهلونه. فهو يبيّن الأسئلة التي سببت أكبر عدد من الإجابات المرفوضة. السؤال الذي يستدعي إجابات متحمسة باستمرار غالبًا سؤال موجِّه. والسؤال الذي يستدعي وقائع بلا دليل قد يسأل عن أمر لا يستطيع الطاقم معرفته. استخدم السجل لتحسين استبيانك القادم.
نموذج لغوي بدور الحَكَم، بشرح بسيط
«النموذج اللغوي بدور الحَكَم» ممارسة تعني أن يقيّم نموذج لغوي مخرجات نموذج آخر. انتشرت لأن المراجعة البشرية بطيئة ومكلفة، ولأن النماذج القوية تبيّن أنها مقيِّمة جيدة بشكل مدهش حين تُعطى معايير واضحة. من الأمثلة المعروفة G-Eval (يفتح في علامة تبويب جديدة) من باحثي Microsoft، وفيه يستدل النموذج عبر خطوات تقييم صريحة قبل أن يعطي الدرجة، ووجدوا أن ذلك يوافق الأحكام البشرية أكثر من المقاييس الآلية الأقدم. وأظهر عمل Constitutional AI (يفتح في علامة تبويب جديدة) من Anthropic فكرة قريبة: يستطيع النموذج نقد المخرجات ومراجعتها وفق قائمة مبادئ مكتوبة، دون الاعتماد على إنسان يصنّف كل مثال.
الناقد في Cast نموذج حَكَم بمهمة ضيقة وبلا بريق. لا يقرر هل فكرتك جيدة. يقرر هل يستحق كل سطر ينطق به مستخدم افتراضي أن يُحتسب دليلًا.
نقاط الضعف المعروفة لدى الحكّام من الذكاء الاصطناعي
للحكّام من الذكاء الاصطناعي انحيازاتهم، وإنكار ذلك بداية سيئة لدور قائم على الشك. أظهر Peiyi Wang وزملاؤه في Large Language Models are not Fair Evaluators (يفتح في علامة تبويب جديدة) أن مجرد تغيير ترتيب ظهور إجابتين قد يقلب حكم النموذج، حتى بدا نموذج أضعف متفوقًا على نموذج أقوى في 66 من 80 استفسارًا. ووجد Arjun Panickssery وزملاؤه أن LLM evaluators recognize and favor their own generations (يفتح في علامة تبويب جديدة)، وهذه حجة قوية لعدم ترك النموذج يصحح واجبه بنفسه.
وهناك أدلة مشجعة أيضًا. دربت ورقة OpenAI (يفتح في علامة تبويب جديدة) بعنوان LLM Critics Help Catch LLM Bugs (يفتح في علامة تبويب جديدة) نماذج ناقدة لمراجعة الشيفرة، ووجدت أن نقدها فُضّل على النقد البشري في 63% من الحالات ذات الأخطاء الطبيعية. وتقر الورقة نفسها بصراحة بأن الناقدين قد «يتوهمون» مشكلات غير موجودة، وبأن الفرق المشتركة من البشر والآلة تفوقت في ذلك على النماذج وحدها. هذا هو التوازن الذي نسعى إليه: قارئ من الذكاء الاصطناعي يلتقط الكثير، وكل قرار مسجل ليتحقق منه إنسان.
كيف نصمم النظام حول هذه الانحيازات
- أدوار منفصلة: الناقد ليس المستخدم الافتراضي ولا يشاركه تعليماته، فلا يقيّم صوته هو.
- سطر واحد في كل مرة: يحكم الناقد على كل إجابة بمفردها بدل المقارنة بين إجابتين جنبًا إلى جنب، وهذا يتجنب مشكلة الترتيب.
- معيار مكتوب: الشخصية والوقائع والحماسة والاتساق، ويُسجَّل سبب لكل سطر معلَّم.
- قرارات ظاهرة: تُحفظ الأسطر المعلَّمة في سجل، فيمكنك أن تخالف الناقد وترى بالضبط لماذا تصرف.
مثال تطبيقي: سطر معلَّم واحد
تخيّل دراسة لشركة ناشئة لصناديق الوجبات في دبي. أحد المستخدمين الافتراضيين ممرضة تعمل في نوبات ليلية، وقد قالت في بداية المقابلة إنها تطبخ مرتين في الأسبوع على الأكثر. ثم سُئلت لاحقًا عن صندوق وصفات مميز، فأجابت: «سأطبخ منه كل ليلة، يبدو مثاليًا». يعترض الناقد على هذه الإجابة لسببين. فهي تناقض ما قالته عن جدولها، وهي متحمسة بلا مبرر. يُعاد السطر إلى المستخدمة الافتراضية مع هذه الملاحظة. والإجابة الجديدة أقرب إلى هذا: «ربما في أيام إجازتي. أما في أسابيع النوبات فسأتركه يفسد في الثلاجة، ثم أشعر بالذنب لأنني دفعت ثمنه». النسخة الثانية أقل مجاملة وأكثر فائدة بكثير، لأنها تخبر المؤسس بشيء عن إيقاف الاشتراك مؤقتًا وتخطي التوصيلات. هذا المثال محاكى وليس من دراسة حقيقية.
مسرد
النموذج الحَكَم: نموذج لغوي يُستخدم لتقييم مخرجات نماذج أخرى أو فحصها. المعيار المكتوب: المعايير الصريحة التي يطبقها الحَكَم. انحياز الموضع: أن يفضل الحَكَم إجابة بسبب مكان ظهورها. انحياز التفضيل الذاتي: أن يفضل الحَكَم نصًا يشبه نصه. التملق: إجابة تُصاغ لإرضاء المستمع لا لتكون صادقة.
حدود تستحق أن تعرفها
الناقد يقلل الأخطاء، لكنه لا يثبت صحة الحقيقة. قد يفوته تناقض خفي، وقد ينبّه أحيانًا إلى سطر سليم. كما أنه لا يستطيع معرفة ما لا يتضمنه موجز البحث. لهذا نصف مخرجاته بأنها سجل لا حكم نهائي. ولهذا أيضًا نرى أن أفضل استخدام لدراسة Cast هو شحذ الأسئلة قبل أن تطرحها على عملائك الحقيقيين.
أسئلة عن الناقد
هل يجعل الناقد النتائج أكثر سلبية؟
لا. فهو يرفض الإجابات التي لا سند لها في الاتجاهين. الشكوى بلا أساس تُعلَّم مثل المديح بلا أساس.
هل يمكن أن يخطئ الناقد؟
نعم، ولهذا تُسجَّل الأسطر المعلَّمة ولا تُخفى. يمكنك مراجعة أي قرار وتجاوزه.
لماذا لا نستخدم نموذجًا أقوى ونستغني عن الناقد؟
لأن النماذج الأقوى ما زالت ضعيفة في فحص عملها دون ملاحظات من الخارج. الاستقلال أهم من القدرة الخام.
ما الفرق بين النموذج اللغوي الحَكَم والمراجعة البشرية؟
يطبق النموذج الحَكَم معايير مكتوبة بسرعة واتساق على كل سطر، وهذا ما لا يستطيعه فريق بشري بالسرعة نفسها. أما المراجع البشري فيجلب سياقًا وحكمًا قد يفوتان المعيار. يُبقي Cast قرارات الناقد ظاهرة ليتولى الناس الجزء الثاني.
هل يمكن أن يكون الحَكَم من الذكاء الاصطناعي متحيزًا؟
نعم. وجدت الدراسات أن النماذج التي تعمل حكّامًا تتأثر بترتيب الإجابات وطولها وبمدى شبه النص بما تكتبه هي. يقلل Cast من هذه التأثيرات بإبقاء الناقد دورًا منفصلًا، وتقييم سطر واحد في كل مرة، وتسجيل كل قرار.
اقرأ بعد ذلك: لماذا يضم كل طاقم متشككين.
