اسأل نموذجًا لغويًا عن المبلغ الذي يدفعه سائق توصيل في دبي لاستئجار دراجة، وسيعطيك رقمًا بثقة. أحيانًا يكون الرقم صحيحًا. وأحيانًا يعود إلى عام 2021. وأحيانًا يُختلق في لحظته. في روبوت المحادثة هذا مصدر إزعاج. أما في أبحاث العملاء فهو كارثة، لأن كل نتيجة لاحقة ترث الخطأ.
لذلك، قبل أن ينطق أي مستخدم افتراضي بكلمة، يفعل وكيل الاختيار ما يفعله الصحفي الجيد: يذهب ويتحقق من المعلومات.
الاسترجاع ببساطة
تسمى هذه التقنية retrieval-augmented generation (يفتح في علامة تبويب جديدة). فبدل أن يعتمد النظام على ما حفظه النموذج أثناء التدريب فقط، يجلب مستندات حديثة وذات صلة ويعطيها للنموذج بوصفها سياقًا. وقد صاغ Patrick Lewis (يفتح في علامة تبويب جديدة) وزملاؤه الفكرة رسميًا في ورقة Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (يفتح في علامة تبويب جديدة). وأظهرت الورقة أن الجمع بين نموذج ومصدر معرفة قابل للبحث يعطي إجابات أكثر تحديدًا ودقة من النموذج وحده.
ودفع مشروع WebGPT (يفتح في علامة تبويب جديدة) من OpenAI (يفتح في علامة تبويب جديدة) الفكرة أبعد، إذ جعل النموذج يتصفح الإنترنت ويقتبس مصادره، فيتحقق البشر من الإجابة بدل أن يصدقوها. وبنى باحثون في Princeton (يفتح في علامة تبويب جديدة) معيارًا كاملًا حول جعل النماذج تذكر مصادر ما تقوله (يفتح في علامة تبويب جديدة)، لأن الادعاء الذي يمكن تتبعه هو ادعاء يمكن تدقيقه.
ما الذي يُبحث عنه لكل مستخدم افتراضي
حين تختار مدير أسطول في الرياض، يجمع وكيل الاختيار السياق الذي يعيشه من يشغل هذا المنصب فعلًا: الأسعار والأجور المعتادة في تلك المدينة، والأنظمة التي ترسم أسبوعه، وطريقة الشراء في قطاعه، وأثر المواسم في عمله. يصبح هذا البحث جزءًا من خلفية الشخصية. لا يتلوه المستخدم الافتراضي. بل يعرفه ببساطة، كما تعرف قيمة إيجارك.
اعرض عملك
كل معلومة تشكّل مستخدمًا افتراضيًا تحتفظ بمصدرها. في دراستك يمكنك فتح أي مستخدم افتراضي ورؤية مصدر معرفته بالسوق. وإذا بدا لك رقم غير دقيق، ترى لماذا صدّقه المستخدم الافتراضي، وتصحّحه قبل أن تبدأ المقابلات.
“«الادعاء الذي يمكنك تتبعه هو ادعاء يمكنك تدقيقه.»”
لماذا ينتج هذا بحثًا أفضل
يخدم التوثيق نتائجك من وجهين. أولًا، تصبح الإجابات محددة: «أدفع نحو 300 في الأسبوع لرجل في القوز» مفيدة بطريقة لا تبلغها عبارة «الدراجات غالية». ثانيًا، يجد الناقد ما يقارن به. فحين يذكر مستخدم افتراضي معلومة، يقارنها الناقد بموجز البحث، وتُعاد كل معلومة بلا سند. وهذا هو الفرق بين قصة معقولة وقصة موثقة.
لماذا تختلق النماذج المعلومات
تتنبأ النماذج اللغوية بنص معقول. وفي أغلب الأحيان يتطابق المعقول مع الصحيح. وحين لا يتطابقان، ينتج النموذج معلومة خاطئة بثقة، وتسمى غالبًا هلوسة الذكاء الاصطناعي (يفتح في علامة تبويب جديدة). ويبلغ الخطر ذروته في المعلومات التي تعتمد عليها أبحاث العملاء تحديدًا: الأسعار المحلية، والأنظمة الحديثة، والقطاعات المتخصصة، وكل ما تغير بعد تدريب النموذج.
كيف يبدو التوثيق الجيد
التوثيق لا يعني حشو الموجّه بصفحات الويب. بل يعني اختيار القليل من المعلومات التي تشكّل قرارات الشخص، والتأكد من أنها حديثة ومحلية. وبالنسبة إلى المستخدم الافتراضي، تعني عادةً التكاليف التي يواجهها، والقواعد التي يلتزم بها، والأدوات التي يستخدمها اليوم، والبدائل التي سينظر فيها.
- تكلفة المعيشة والأجور المعتادة للدور والمدينة.
- أسعار البدائل الرئيسية، ومنها ألا يفعل شيئًا.
- الأنظمة أو الأعراف الصناعية التي تشكّل قرار الشراء.
- أحداث حديثة في السوق، مثل منافس جديد أو تغيير في الأسعار.
كيف تتحقق من مستخدم افتراضي بنفسك
افتح أي مستخدم افتراضي في دراستك وراجع مصادره. اطرح ثلاثة أسئلة. هل المصدر حديث؟ هل يتناول المكان الصحيح؟ وهل هو من النوع الذي يثق به الشخص الحقيقي؟ إذا بدت معلومة خاطئة، صححها وأعد تشغيل ذلك المستخدم الافتراضي. أما بقية الدراسة فلا تتأثر.
هذه العادة مستعارة من الصحافة، حيث يفحص مدققو الحقائق الجيدون المصدر الذي يقف وراء الادعاء قبل أن يفحصوا الادعاء نفسه. وهي تنفع مع المستخدمين الافتراضيين أيضًا.
كيف تقلل هلوسة الذكاء الاصطناعي في الأبحاث: ماذا تقول الأدلة
إذا بحثت عن طرق تمنع النموذج اللغوي من اختلاق المعلومات، فستجد نصائح كثيرة تُقدَّم بثقة. أما الخلاصة الصادقة من الأبحاث فأبسط: لا يمكنك أن تُنهي الهلوسة، لكن يمكنك أن تجعلها أقل شيوعًا، والأهم أن تجعلها أسهل اكتشافًا. ونقطة البداية الجيدة هي Survey of Hallucination in Natural Language Generation (يفتح في علامة تبويب جديدة) من تأليف Ziwei Ji وزملائه، وهي ترسم خريطة للطرق الكثيرة التي ينحرف بها النص المولَّد عن مصدره، وللأساليب المستخدمة في ضبطه.
هناك ثلاث نتائج تهم كل من يستخدم الذكاء الاصطناعي في أبحاث العملاء. أولًا، المشكلة حقيقية حتى مع النماذج القوية. عندما بنى Sewon Min وزملاؤه FActScore (يفتح في علامة تبويب جديدة)، وهو أسلوب يقسم الإجابة الطويلة إلى «حقائق ذرية» صغيرة ويتحقق من كل واحدة منها مقابل مصدر موثوق، أفادوا بأن ChatGPT لم يتجاوز 58% في السير الذاتية للأشخاص. ثانيًا، الاسترجاع يساعد لكنه ليس حلًا كاملًا. وجدت دراسة مسجلة مسبقًا من Stanford (يفتح في علامة تبويب جديدة) بعنوان Hallucination-Free? (يفتح في علامة تبويب جديدة) أن أدوات البحث القانوني الرائدة المبنية على الاسترجاع ما زالت تهلوس في نسبة تتراوح بين 17% و33% من الحالات. هذا أفضل من روبوت دردشة عام، لكنه بعيد عن ادعاء «خالٍ من الهلوسة» في التسويق. ثالثًا، يعمل التحقق بشكل أفضل حين يجري منفصلًا. يطلب أسلوب Chain-of-Verification (يفتح في علامة تبويب جديدة) من Meta أن يضع النموذج أسئلة للتحقق من الحقائق ويجيب عنها باستقلال، فلا تتأثر الفحوص بالمسودة. ويبين المؤلفون أن ذلك يقلل الهلوسة في عدة مهام.
هذا هو المنطق وراء Cast. يمنح الاسترجاع كل مستخدم افتراضي حقائق يقف عليها. وتتيح لك الاستشهادات رؤية تلك الحقائق. ويفحص ناقد مستقل ما يُقال في مقابلها.
لماذا تتفوق حقائق أقل وأفضل على كومة من المستندات
من المغري الظن أن السياق الأكبر يعني دقة أكبر دائمًا. وليس كذلك. ففي Lost in the Middle (يفتح في علامة تبويب جديدة) وجد Nelson Liu وزملاؤه في Stanford أن النماذج تميل إلى استخدام المعلومات بأفضل صورة حين تقع في بداية المدخل الطويل أو نهايته، وأن الأداء يتراجع حين يكون الجزء المفيد مدفونًا في الوسط. والدرس العملي للمستخدمين الافتراضيين هو أن تبحث عن قائمة قصيرة من الحقائق التي تشكّل قرارات الشخص فعلًا، بدل أن تسلّم النموذج كومة من صفحات الويب وتأمل أن يجد السطر المناسب.
مثال تطبيقي: توثيق مستخدم افتراضي واحد
تخيّل مؤسِّسة تبني برنامج جدولة مواعيد لعيادات العلاج الطبيعي المستقلة في إسطنبول. أحد مستخدميها الافتراضيين صاحب عيادة لديه ثلاث غرف علاج. قبل مقابلته، يبحث وكيل الاختيار عن المعلومات القليلة التي يحملها صاحب العيادة الحقيقي في ذهنه:
- ما تتقاضاه العيادات المماثلة عادةً عن الجلسة الواحدة، وما تدفعه لموظفيها.
- كيف تُحجز المواعيد اليوم، مثلًا بالهاتف أو بتطبيقات المراسلة أو بأداة حجز قائمة.
- أي قواعد تؤثر في سجلات المرضى أو تذكيرات المواعيد.
- تكلفة البدائل، ومنها موظف استقبال بدوام جزئي.
تحتفظ كل معلومة بمصدرها. لنفترض أن صاحب العيادة قال لاحقًا: «الموعد الذي يفوتني يكلفني رسم جلسة كاملة، ولدي أربعة مواعيد في الأسبوع تقريبًا». عندها تفتح المؤسِّسة ملف المستخدم الافتراضي، وترى من أين جاء سعر الجلسة، وتقرر هل تثق به. وإذا كان المصدر قديمًا أو يخص مدينة أخرى، فهي تعرف أن عليها التعامل مع هذه الجملة بحذر. المثال من نسج الخيال.
مسرد موجز
الهلوسة: نص سلس وواثق لا يسنده واقع ولا المصدر الذي يدّعي استخدامه. التوثيق: ربط ما يقوله النموذج بمعلومات محددة يمكن التحقق منها. الاسترجاع: جلب المستندات وقت السؤال بدل الاعتماد على ما حفظه النموذج. الاستشهاد: سجل لمصدر المعلومة. تاريخ انتهاء المعرفة: النقطة التي لم يرَ النموذج بعدها بيانات تدريب، ولهذا تحتاج الأسعار والقواعد الحديثة إلى الاسترجاع.
قيود نذكرها بصراحة
التوثيق لا يتجاوز جودة مصادره. فقد تكون مصادر الويب العامة قديمة، أو شحيحة في القطاعات المتخصصة، أو منحازة إلى أماكن تنشر أكثر على الإنترنت. وبعض أهم المعلومات، مثل ما تدفعه شركة بعينها لمورّد، نادرًا ما تكون علنية أصلًا. والاستشهادات لا تزيل هذه الفجوات. لكنها تُظهرها، وهذا أقصى ما تستطيع أداة بحث أن تعد به بصدق. تعامل مع معلومات المستخدم الافتراضي كما تتعامل مع معلومات مستجيب أُطلع جيدًا على الموضوع: مفيدة ومحددة، وتستحق التحقق قبل أن تبني عليها قرارًا.
أسئلة عن المصادر
من أين تأتي المصادر؟
من مصادر الويب العامة، مثل الإحصاءات الحكومية وتقارير القطاعات وقوائم الأسعار والأخبار. لا يصل Cast إلى البيانات الخاصة أو المدفوعة ما لم تضفها إلى موجزك.
هل أستطيع إضافة بياناتي؟
نعم. كل ما تضعه في الموجز، مثل نتائج استطلاعك أو ملاحظاتك عن السوق، يصبح سياقًا لاختيار الطاقم، ويبقى خاصًا بمساحة عملك.
ماذا لو تعارضت المصادر؟
يختار وكيل الاختيار أحدث مصدر وأكثره محلية، ويسجّل البديل. والاختلاف بين المصادر كثيرًا ما يكون نتيجة مفيدة في حد ذاته.
هل يلغي الاسترجاع هلوسة الذكاء الاصطناعي؟
لا. تبيّن الأبحاث حول الأدوات القائمة على الاسترجاع أنه يقلل الأخطاء لكنه لا يزيلها. لذلك يحتفظ Cast بالاستشهادات ويضيف ناقدًا مستقلًا، فيسهل اكتشاف الأخطاء المتبقية.
ما المصدر الجيد لمستخدم افتراضي؟
مصدر حديث، يتناول المكان الصحيح ونوع الشخص الصحيح، ومن النوع الذي يعرفه ذلك الشخص الحقيقي، مثل الإحصاءات الرسمية والهيئات القطاعية وقوائم الأسعار والأخبار المحلية.
اقرأ التالي: الناقد الذي يقرأ كل سطر.
