لعلم النفس ألبوم أشهر الأغاني: لعبة الإنذار الأخير (يفتح في علامة تبويب جديدة)، ودراسة الطاعة لدى Milgram (يفتح في علامة تبويب جديدة)، وحكمة الجماهير. فماذا يحدث إذا شغّلت هذه المقطوعات أمام نموذج لغوي؟
تجارب تورينغ
اقترح Gati Aher (يفتح في علامة تبويب جديدة) وRosa Arriaga (يفتح في علامة تبويب جديدة) وAdam Tauman Kalai (يفتح في علامة تبويب جديدة) اختبارًا بسيطًا سموه «تجربة تورنغ» (Turing Experiment). بدل أن نسأل هل ينجح ذكاء اصطناعي واحد في أن يبدو إنسانًا واحدًا، نسأل هل تعيد مجموعة محاكاة إنتاج دراسة بشرية كلاسيكية. في ورقتهم المنشورة في ICML 2023 بعنوان Using Large Language Models to Simulate Multiple Humans and Replicate Human Subject Studies (يفتح في علامة تبويب جديدة)، أعادوا تكرار لعبة الإنذار الأخير وجمل «مسار الحديقة» وتجربة ميلغرام للصدمات الكهربائية «باستخدام نماذج حديثة».
الدراسة الرابعة هي الأطرف. في أسئلة حكمة الجماهير كانت النماذج الأحدث جيدة أكثر من اللازم. يصف المؤلفون «تشوه الدقة المفرطة»: عرفت الجماهير المحاكاة الإجابة الصحيحة أكثر بكثير مما تعرفها أي جماهير حقيقية. الناس يخطئون خطأً بديعًا، وعلى النموذج أن يتعلم كيف يخطئ مثلهم.
علم نفس الآلة ينضج
سلك Marcel Binz (يفتح في علامة تبويب جديدة) وEric Schulz (يفتح في علامة تبويب جديدة) الطريق المعاكس في PNAS (يفتح في علامة تبويب جديدة): أعطيا GPT-3 المجموعة المعيارية من اختبارات علم النفس المعرفي. فهو «يتفوق على البشر في مهمة القطاع المتعدد الأذرع»، لكن «اضطرابات صغيرة في المهام القائمة على الحالات الوصفية قد تضلّ GPT-3 ضلالًا بعيدًا». بعد عامين درّب فريقهما نموذجًا اسمه Centaur على Psych-101، وهي مجموعة بيانات تضم «بيانات تجربة بتجربة من أكثر من 60,000 مشارك» اتخذوا «ما يزيد على 10,000,000 خيار في 160 تجربة». نُشر العمل في Nature (يفتح في علامة تبويب جديدة)، وتنبأ Centaur بسلوك بشري محجوب عنه أفضل من النماذج المعرفية القائمة.
والاعتراض، وهو صحي
لم يقتنع الجميع. وصف Jeffrey Bowers (يفتح في علامة تبويب جديدة) من University of Bristol (يفتح في علامة تبويب جديدة) ادعاءات Centaur بأنها غير معقولة (يفتح في علامة تبويب جديدة)، مشيرًا إلى أن «ذاكرته قصيرة المدى وأزمنة استجابته تختلف كثيرًا عن العقل البشري». ووجد فريق آخر أن Centaur واصل الأداء الجيد حتى بعد حذف تعليمات المهمة، فخلص إلى أنه «لا يفهم التعليمات حقًا» (National Science Open (يفتح في علامة تبويب جديدة)). وأظهر Peter Park (يفتح في علامة تبويب جديدة) وزملاؤه نموذجًا وصف نفسه بأنه محافظ في 99.6% من التشغيلات، ثم ليبرالي في 99.3% عند عكس ترتيب الإجابات (arXiv (يفتح في علامة تبويب جديدة)).
خلاصة Zhicheng Lin (يفتح في علامة تبويب جديدة) في Six Fallacies in Substituting LLMs for Human Participants (يفتح في علامة تبويب جديدة) هي ما نصل إليه نحن أيضًا: استخدم هذه النماذج أدوات «مكملة لا أساسية»، وتحقق منها بالبيانات البشرية.
ما نأخذه من أشهر التجارب
لدى Cast ثلاث قواعد عملية. اعتمد ترتيبًا عشوائيًا للإجابات، لأن أثر الترتيب حقيقي. اكتب أسئلة تدور حول التجربة المعيشة، فهنا يكون الأشخاص المحاكَون في أقوى حالاتهم. ولا تخلط بين الثقة والحقيقة، ولهذا يراجع الناقد كل سطر قبل أن يصل إلى تقريرك.
لماذا يهم تكرار الدراسات القديمة أصلًا
مرّ علم النفس في العقد الثاني من هذا القرن بأزمة تكرار (يفتح في علامة تبويب جديدة) مؤلمة، حين وجدت جهود منسقة واسعة أن كثيرًا من التأثيرات الشهيرة أصغر مما نُشر عنها، أو لم تظهر من جديد أصلًا. هذا التاريخ يجعل تكرار التجارب بالذكاء الاصطناعي أكثر إثارة للاهتمام لا أقل. إذا أعاد نموذج تأثيرًا صمد أيضًا في تكرارات بشرية كبيرة، فالأرجح أنه يلتقط شيئًا حقيقيًا عن طريقة تفكير الناس. وإذا أعاد تأثيرًا فشل مع البشر، فقد يكون يردد ما في الكتب المدرسية فحسب.
معرفة الكتب مقابل السلوك
هنا يكمن الفخ. النماذج اللغوية قرأت الأوراق الأصلية وملاحظات المحاضرات والمدونات التي كُتبت عنها. فعندما «يتصرف» نموذج مثل مشارك في تجربة Milgram، هل يحاكي شخصًا تحت الضغط، أم يستعيد ما قاله الكتاب الجامعي عن سلوك الناس؟ يحاول الباحثون الفصل بين الاحتمالين بتغيير الأسماء والسياقات والأرقام، حتى لا يطابق الموقف أي تجربة مشهورة. والنتائج التي تصمد أمام هذه التغييرات أكثر إقناعًا بكثير.
المنطق نفسه ينطبق على بحثك. السؤال الذي يشبه دراسة حالة معروفة («هل تنتقل إلى شركة طيران أرخص؟») يستدعي إجابة من الكتاب. أما السؤال المبني على موقف محدد غير مألوف («ينتهي عقد أسطولك في مارس والعرض الجديد أعلى بنسبة 12%») فيستدعي التفكير.
أثر الترتيب والصياغة
يتأثر الناس بالترتيب الذي تظهر به الخيارات، وهو نمط مرتبط بتأثير الموضع التسلسلي (يفتح في علامة تبويب جديدة). وتُظهر النماذج تأثيرات ترتيب أيضًا، وأحيانًا أقوى. لهذا يوزع Cast ترتيب الخيارات عشوائيًا بين المستخدمين الافتراضيين، ولا يعدّ النتيجة راسخة إلا إذا ثبتت عبر صياغات مختلفة.
ماذا يعني هذا لتصميم دراستك
- اكتب مواقف خاصة بسوقك، لا أمثلة مشهورة قد يتعرف عليها النموذج.
- وزّع ترتيب الخيارات والعبارات عشوائيًا.
- اطرح السؤال المهم نفسه بطريقتين، ولا تثق إلا بالأنماط المتفقة.
- استخدم تشغيلات الذكاء الاصطناعي لتصحيح استبيانك قبل أن تنفق المال على لوحة استطلاع بشرية.
مسرد قصير لتكرار التجارب بالذكاء الاصطناعي
تجربة تورينغ. تسمية Aher وArriaga وKalai لاختبار ما إذا كانت مجموعة من المشاركين المحاكين تعيد إنتاج نتيجة بشرية كلاسيكية، لا ما إذا كان ذكاء اصطناعي واحد يخدع حكمًا واحدًا.
علم نفس الآلة. برنامج بحثي وضعه Thilo Hagendorff وMarcel Binz وEric Schulz وزملاؤهم في Machine Psychology (يفتح في علامة تبويب جديدة)، يطبق تجارب علم النفس على النماذج اللغوية. ويبرز المؤلفون أيضًا «التحفظات المهمة على تطبيق منهجيات صُممت لفهم البشر على الآلات».
الدقة المفرطة. حين يكون النموذج أصح مما سيكون عليه الناس الحقيقيون، فلا يصلح بديلًا عن جماهير حقيقية تخطئ.
التلوث. حين يكون النموذج قد رأى دراسة ما، أو نقاشات عنها، أثناء التدريب، فيكرر النتيجة الشهيرة بدل أن يصل إليها بالتفكير.
حين تجاوزت النماذج أخطاء البشر
من أوضح الأمثلة على الدقة المفرطة اختبار التأمل المعرفي (Cognitive Reflection Test) (يفتح في علامة تبويب جديدة)، الذي وصفه Shane Frederick أول مرة عام 2005. ألغاز هذا الاختبار مصممة لتستدرج إجابة سريعة خاطئة يمليها الحدس. في Nature Computational Science (يفتح في علامة تبويب جديدة) وجد Thilo Hagendorff وSarah Fabi وMichal Kosinski أن نماذج GPT الأقدم أظهرت، كلما كبر حجمها، «تفكيرًا حدسيًا من النوع الأول يشبه تفكير البشر، مع ما يرتبط به من أخطاء معرفية». ثم ظهرت نماذج ChatGPT وكانت تجيب غالبًا إجابات صحيحة، «متجنبة الفخاخ المضمنة في المهام».
هذا أمر مثير للعالِم. أما لمن يجري بحوثًا عن العملاء، فهو تحذير. العملاء الحقيقيون يحكمون بسرعة، ويسيئون فهم العروض، ويمرون سريعًا على صفحات الأسعار. العميل المحاكى الذي يحسب بهدوء أفضل صفقة ليس واقعيًا، بل أذكى مما ينبغي. وهذا أحد أسباب أن يبني Cast المستخدمين الافتراضيين من ظروف محددة (أسبوع مزدحم، وميزانية ضيقة، وعادة يحبونها) بدل أن يسأل نموذجًا عما يفعله مشترٍ عقلاني.
أي بشر يجري تكرارهم؟
أُجريت معظم دراسات علم النفس الكلاسيكية على طلاب جامعات في بلدان غربية. اشتهرت هذه الفكرة بفضل Joseph Henrich وSteven Heine وAra Norenzayan في The weirdest people in the world? (يفتح في علامة تبويب جديدة)، وفيها يجادلون بأن العينات الغربية والمتعلمة والصناعية والثرية والديمقراطية استثنائية وليست نموذجية. لذلك حين «يكرر» ذكاء اصطناعي دراسة كلاسيكية، فقد يكرر شريحة ضيقة من البشرية بإتقان. يحاول Cast معالجة ذلك بأن يبحث في سوق كل مستخدم افتراضي ومدينته وظروفه قبل أن تبدأ المقابلة.
مثال تطبيقي: أخفِ الدراسة الكلاسيكية
تخيل مؤسِّسة شركة تقنية تعليمية تريد أن تعرف هل يغير عرض سعرها «يوميًا» بدل «شهريًا» ردّ فعل أولياء الأمور. هذا قريب من أثر التأطير (يفتح في علامة تبويب جديدة)، وقد قرأ النموذج عنه الكثير. وسؤال مثل «هل يبدو السعر اليومي أرخص؟» يستدعي إجابة من الكتاب.
تصميم أفضل، على سبيل الفرض، يشغّل طاقمين منفصلين بالخلفيات نفسها. يرى الأول العرض مصوغًا بسعر يومي، ويراه الثاني بسعر شهري، ولا يعلم أي منهما بوجود مقارنة. تطرح هي السؤال نفسه على الطاقمين: «هل تشترك هذا الأسبوع، وما الذي قد يمنعك؟» إذا اختلفت الأسباب بشكل ثابت، فلديها نمط يستحق الاختبار على صفحة هبوط حقيقية. وإذا لم تختلف، وفّرت على نفسها أسبوع تصميم كاملًا.
الحدود، وما بعدها
- التجربة الكلاسيكية المكررة دليل عن النموذج لا عن سوقك. تخبرك أن الأداة تتصرف تصرفًا معقولًا، لا أن فكرتك جيدة.
- التأثيرات الشهيرة هي الأكثر عرضة للحفظ، فثق بالنسخ المموهة أكثر من نسخ الكتب.
- إذا كنت تنوي النشر، فسجّل فرضيتك مسبقًا، وتأكد من النتيجة مع مشاركين من البشر تجندهم عبر شركة توفر عينات المشاركين في الأبحاث مثل Prolific (يفتح في علامة تبويب جديدة).
- ضع نتائج الذكاء الاصطناعي ونتائج البشر جنبًا إلى جنب في ورقتك، وبيّن أيهما أيهما.
أسئلة عن تكرار التجارب بالذكاء الاصطناعي
إذا أعاد الذكاء الاصطناعي إنتاج تجربة Milgram، فهل هو مطيع؟
لا. أعاد النموذج إنتاج نمط مجموعة من المشاركين المحاكين. نصمم المستخدمين الافتراضيين ليعترضوا، ونضم المتشككين إلى الطاقم عمدًا.
هل أثق أكثر بالنتائج المطابقة للدراسات المشهورة؟
ثق بالنتائج التي تصمد حين يُخفى السياق وتتغير الصياغة. أما مطابقة نتيجة مشهورة فهي علامة جيدة فقط إذا كان النموذج لا يستطيع أن يكون قد حفظها ببساطة.
ما تجربة تورينغ في أبحاث الذكاء الاصطناعي؟
هي اختبار لما إذا كانت مجموعة من المشاركين المحاكين تعيد إنتاج نمط دراسة بشرية معروفة، اقترحه Aher وArriaga وKalai. وهي تسأل عن المجموعات والتوزيعات، لا عن ظهور ذكاء اصطناعي واحد بمظهر بشري.
هل يمكنني استخدام مشاركين من الذكاء الاصطناعي بدل البشر في دراسة أكاديمية؟
يعدّهم معظم الباحثين تجربة أولية أو مكملًا، لا بديلًا. استخدمهم لصقل موادك وتوقعاتك، ثم اجمع بيانات بشرية وأبلغ عن الاثنين بوضوح.
اقرأ أيضًا: لماذا أسرع طريق إلى الفشل هو البناء أولًا.
