للاقتصاديين كائن خيالي مفضل: Homo economicus، الإنسان العقلاني تمامًا الذي لا يوجد إلا في الكتب الدراسية. في عام 2023 قدّم John Horton (يفتح في علامة تبويب جديدة) مع Apostolos Filippas (يفتح في علامة تبويب جديدة) وBenjamin Manning (يفتح في علامة تبويب جديدة) كائنًا جديدًا. تقول ورقتهم البحثية الصادرة عن NBER (يفتح في علامة تبويب جديدة)، وعنوانها Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus? (يفتح في علامة تبويب جديدة)، إن النماذج اللغوية الكبيرة «نماذج حسابية ضمنية للبشر، أي Homo silicus».
يبدو هذا طموحًا كبيرًا، لكن الطريقة بسيطة بشكل لطيف: نأخذ تجارب شهيرة من الاقتصاد السلوكي، ونعطي النموذج الموقف نفسه والخيارات نفسها، ثم نرى هل يتصرف مثل الناس في الدراسات الأصلية.
اختبار مجرفة الثلج
أحد أمثلتنا المفضلة سؤال العدالة الذي طرحه Kahneman (يفتح في علامة تبويب جديدة) وKnetsch (يفتح في علامة تبويب جديدة) وThaler (يفتح في علامة تبويب جديدة) عام 1986. يبيع متجر أدوات مجارف الثلج بسعر 15 دولارًا. في صباح اليوم التالي لعاصفة ثلجية كبيرة يرفع السعر إلى 20 دولارًا. هل هذا عادل؟ في الدراسة الأصلية، «أجاب نحو 82% من المشاركين بأنه غير عادل أو غير عادل إطلاقًا». أما الوكلاء المحاكون لدى Horton، وقد أُعطوا ميولًا سياسية وشخصيات أخرى، فأظهروا النمط العام نفسه: استغلال الأسعار بعد العاصفة يبدو خطأً. ويلخص المؤلفون تكرارهم للتجارب بأنها أعطت «نتائج مشابهة نوعيًا للأصل»، وبأن الاختلاف في النتائج، حين يحدث، «كثيرًا ما يكون مولّدًا لأبحاث مستقبلية».
يمكنك إجراء تجربة أولية في ظهيرة واحدة
الفكرة العملية هنا هي التي بنينا Cast حولها. قبل أن تقضي أشهرًا في تجنيد المشاركين، يمكنك إجراء تجربة تمهيدية محاكاة منخفضة التكلفة، وترى أي الظروف تُظهر سلوكًا لافتًا، وتصقل أسئلتك. وجدت فرق أخرى الأمر نفسه. فقد أعاد (يفتح في علامة تبويب جديدة) Aher وArriaga وKalai إنتاج لعبة الإنذار النهائي (يفتح في علامة تبويب جديدة) وجمل «مسار الحديقة» وحتى تجربة الصدمات الكهربائية التي أجراها Milgram (يفتح في علامة تبويب جديدة) مع مشاركين محاكين، وذكروا أن «النتائج القائمة تكررت باستخدام النماذج الحديثة».
في Harvard Business School (يفتح في علامة تبويب جديدة) جرّب Ayelet Israeli (يفتح في علامة تبويب جديدة) وزملاؤها هذه الطريقة في التسوق. وفي تغطية نشرتها HBS Working Knowledge (يفتح في علامة تبويب جديدة) يذكرون أنهم أعطوا عملاء محاكين دخلًا يتراوح بين 50,000 و120,000 دولار، ووجدوا أن ارتفاع الدخل يرافقه تحمّل أعلى للسعر، كما تتوقع تمامًا. وحرصت Israeli على أن تضيف: «لا نقول إن على الجميع الآن استخدام هذا بدلًا من التحدث إلى المستهلكين».
أين يتعثر Homo silicus
ورقة Horton المنقحة صريحة بشكل يستحق الإعجاب. فالأبحاث المنشورة موجودة داخل بيانات التدريب، وهذا «قد يجعل المحاكاة الهشة تبدو متينة لأن النماذج قد تكرر ببساطة نتائج محفوظة وإشكالية». ويذهب George Gui (يفتح في علامة تبويب جديدة) وOlivier Toubia (يفتح في علامة تبويب جديدة) أبعد في نقد من منظور الاستدلال السببي (يفتح في علامة تبويب جديدة): غيّر عنصرًا واحدًا في تجربة محاكاة، فيغيّر النموذج بهدوء عناصر أخرى معه.
لذلك نتعامل مع Homo silicus كما يتعامل الباحث الجيد مع دراسة تجريبية أولية. هو سريع وكاشف، ويدلك على أين تنظر. لكنه لا يوقّع الشيك الأخير.
كيف نستخدم هذه الفكرة
يجري Cast دراستك بالطريقة نفسها التي أجرى بها هؤلاء الباحثون دراستهم، لكن مع عملائك أنت بدلًا من حالات الكتب الدراسية. تسأل أسئلتك عن السلوك السابق قبل عرض الفكرة، وتُختبر الأسعار كنطاق لا كرقم واحد مثبّت، ويعيد الناقد الإجابات التي تبدو محفوظة أو حريصة أكثر من اللازم على إرضائك. ثم نخبرك بالنتائج التي تستحق التحقق منها في الواقع.
التجارب الأربع بلغة بسيطة
أعادت ورقة Homo silicus الأصلية إجراء عدد قليل من الدراسات المعروفة. إلى جانب سؤال العدالة المتعلق بمجرفة الثلج، تناولت التفضيلات الاجتماعية (كم يقدّر الناس العدالة ومكاسب الآخرين عند تقسيم المال)، وانحياز الوضع القائم (هل يتمسك الناس بالخيار المعتاد حتى مع وجود خيار أفضل)، وحالة توظيف تقيس أثر الحد الأدنى للأجور في اختيار أصحاب العمل للمرشحين. في كل حالة أعطى الباحثون الوكلاء المحاكين «سمات أولية» مختلفة، مثل الميول السياسية، لمعرفة هل تدفع خياراتهم في الاتجاه المتوقع.
النتيجة اللافتة ليست أن النموذج طابق كل رقم، بل أنه تحرك في الاتجاه الصحيح عندما تغير الموقف أو الشخصية. اجعل الوكيل أكثر ليبرالية فرديةً فيتقبل رفع السعر أكثر. اعرض عليه خيارًا معتادًا فيميل إلى الإبقاء عليه. هذه الحساسية للاتجاه هي ما يجعل المحاكاة مفيدة في استكشاف الأفكار.
لماذا تستحق التجربة التجريبية أكثر مما تكلّف
التجارب السلوكية الحقيقية مكلفة في المال والوقت، وينفق معظم هذه الكلفة قبل أن تعرف إن كان تصميمك جيدًا. تتيح لك التجربة التمهيدية المحاكاة أن تتحقق من أن الموقف الذي صغته مفهوم، وأن ظروفك تختلف فعلًا، وأن الأثر الذي يهمك معقول. إن لم تُظهر المحاكاة شيئًا لافتًا، فهذا تحذير رخيص. وإن أظهرت شيئًا مفاجئًا، عرفت أين تتعمق.
كيف تجري تجربة بأسلوب Homo silicus في Cast
- اكتب الموقف كما سيراه مشارك حقيقي تمامًا، دون أن تلمّح إلى الإجابة التي تأمل فيها.
- أنشئ نسختين أو ثلاث نسخ من العرض (مثل سعرين أو رسالتين)، ثم شغّل كل نسخة مع طاقم مستقل.
- قارن الاتجاه والأسباب التي يذكرها الناس، لا الأرقام الرئيسية وحدها.
- احتفظ بالنسخة التي صمدت، واختبرها مع عملاء حقيقيين في دراسة أصغر وأدق.
من تجربة واحدة إلى روبوت باحث
سألت ورقة Homo silicus: هل يستطيع نموذج لغوي أن يحل محل مشارك؟ وبعد عام طرح Benjamin Manning وKehang Zhu وJohn Horton سؤالًا أكبر: هل يستطيع أن يحل محل الباحث أيضًا؟ تبني ورقتهم Automated Social Science: Language Models as Scientist and Subjects (يفتح في علامة تبويب جديدة) نظامًا يقترح فرضيات، ويصمم حولها تجارب محاكاة، ويشغّلها مع وكلاء من الذكاء الاصطناعي، ويحلل النتائج.
جرّبوه على أربعة مواقف: مفاوضة، وجلسة كفالة، ومقابلة عمل، ومزاد. وجد النظام دليلًا على بعض العلاقات السببية التي اقترحها، ولم يجده لبعضها الآخر. وأفيد نتيجة لمن يجري أبحاث العملاء هي هذه: حين توقع النموذج النتائج مباشرة، كان «جيدًا في توقع إشارات الآثار المقدّرة، لكنه لا يستطيع توقع أحجامها بشكل موثوق». أي أنه عرف في أي اتجاه ستتحرك الأمور، لكنه لم يعرف إلى أي مدى.
“«باختصار، النموذج اللغوي يعرف أكثر مما يستطيع أن يقوله (فورًا).»”
هذه الجملة أفضل حجة نعرفها لتشغيل محاكاة بدل سؤال روبوت محادثة عن رأيه. فحين خاض الوكلاء المزاد فعلًا، «طابقت نتائجهم عن قرب تنبؤات نظرية المزادات»، بينما كانت تخمينات النموذج المباشرة لأسعار التصفية غير دقيقة. المحاكاة تكشف أشياء لا يكشفها سؤال واحد.
جانب المصدر المفتوح
شارك Horton أيضًا في تأسيس Expected Parrot (يفتح في علامة تبويب جديدة)، التي تصون EDSL (يفتح في علامة تبويب جديدة)، وهي حزمة Python مفتوحة المصدر لتشغيل الاستبيانات والتجارب مع وكلاء من الذكاء الاصطناعي. إنها مكان جيد لترى كيف تُربط هذه الدراسات معًا. لا يعتمد Cast عليها.
أفضل ممارسات توجيه الشخصيات في النماذج اللغوية، من الأبحاث
تشير أوراق الاقتصاد وأدبيات الشخصيات إلى مجموعة العادات نفسها:
- أعطِ الوكيل هبة تؤثر في القرار، مثل ميزانية أو تجربة سابقة أو ميل سياسي، بدل قائمة طويلة من السمات غير ذات الصلة.
- غيّر عنصرًا واحدًا فقط بين الشروط.
- شغّل وكلاء كثيرين لا وكيلًا واحدًا. الإجابة الواحدة حكاية، وتوزع الإجابات بيانات.
- ثق بالاتجاه أكثر من الحجم. تجد أوراق عدة، منها هذه، أن النماذج أفضل في الإشارات منها في الأحجام.
- تجنب المواقف التي حفظها النموذج. الألغاز الشهيرة في الكتب الدراسية هي الأسهل في ترديدها والأقل فائدة في الاختبار.
ثمة نتيجة تحذيرية تستحق أن تعرفها هنا. أجرى Peter Park (يفتح في علامة تبويب جديدة) وPhilipp Schoenegger وChongyang Zhu 14 دراسة من مشروع Many Labs 2 لإعادة التجارب باستخدام GPT-3.5، ووجدوا (يفتح في علامة تبويب جديدة) ما سموه أثر «الإجابة الصحيحة»: في بعض الأسئلة الدقيقة، أعطت التشغيلات المختلفة «تباينًا معدومًا أو شبه معدوم في الإجابات». مجتمع محاكى يتفق كله مع نفسه ليس مجتمعًا.
مثال تطبيقي لتجربة تسعير
تخيّل مؤسِّسة تبيع برنامج جدولة المواعيد لعيادات العلاج الطبيعي المستقلة. هي غير متأكدة هل تحاسب بحسب عدد الممارسين أم برسم شهري ثابت. في تجربة أولية على طريقة Homo silicus، تكتب العرض كما سيراه مالك العيادة تمامًا، ثم تشغّل طاقمين منفصلين: يرى الأول التسعير بحسب الممارس، ويرى الثاني الرسم الثابت. ويبقى كل شيء آخر كما هو.
ما تبحث عنه هو الاتجاه والأسباب. هل يعترض أصحاب العيادات الصغيرة التي يعمل فيها شخصان على الرسم الثابت بحدة أكبر؟ وهل تقلق العيادات الأكبر من تكلفة كل مقعد كلما وظّفت؟ وفي الحالتين، تدخل تجربتها الحقيقية بأسئلة أدق. لا يعرف المستخدمون الافتراضيون أي الخيارين تفضّل، ويجري المخرج مقابلة مع كل واحد منهم بالتوازي، ويشير الناقد إلى الإجابات التي تبدو محفوظة أو حريصة أكثر من اللازم على إرضائها.
مسرد المصطلحات
Homo silicus: نموذج لغوي يُعامل بوصفه نموذجًا حسابيًا للسلوك البشري. الهبة: المعلومات أو التفضيلات أو الظروف التي تُعطى لوكيل محاكى. In silico: يُجرى كمحاكاة حاسوبية بدل إجرائه مع أشخاص. النموذج السببي البنيوي: خريطة رسمية للمتغيرات التي يُعتقد أنها تسبب متغيرات أخرى، تُستخدم هنا لتصميم التجارب المحاكاة وتحليلها.
أسئلة عن الوكلاء الاقتصاديين المحاكين
إذا كان النموذج قد قرأ الأوراق الأصلية، أفلا يكتفي بترديدها؟
هذا أهم تحفظ، وقد أثاره المؤلفون أنفسهم. ولهذا نشجعك على اختبار مواقفك الجديدة الخاصة بك، فهي لم يرها أي نموذج من قبل.
هل تعطي النماذج المختلفة إجابات مختلفة؟
نعم. تقارن الورقة المنقحة بين نماذج كثيرة. ويتيح Cast لفريق المنصة تحديد النموذج المستخدم لكل دور، ونعيد فحص النتائج حين تتغير النماذج.
هل يمكن أن يحل هذا محل اختبارات A/B؟
لا. هو يساعدك على تحديد اختبارات A/B التي تستحق التشغيل، وهنا يضيع غالبًا معظم الوقت.
هل يستطيع وكلاء الذكاء الاصطناعي إخباري بمقدار ضرر تغيير السعر في التحويل؟
ليس بشكل موثوق. تجد الأبحاث عن الوكلاء المحاكين أنهم أفضل بكثير في توقع اتجاه الأثر منهم في توقع حجمه. استخدمهم لتحديد السعر الذي تختبره، ثم قس الحجم مع عملاء حقيقيين.
لماذا نجري محاكاة بدل أن نسأل النموذج مباشرة عمّا سيحدث؟
لأن الطريقتين تعطيان إجابتين مختلفتين. ففي ورقة Automated Social Science طابقت المزادات المحاكاة النظرية الاقتصادية عن قرب، بينما كانت توقعات النموذج المباشرة للأسعار غير دقيقة.
اقرأ تاليًا: هل يستطيع الذكاء الاصطناعي توقع نتيجة تجربة قبل أن تجريها؟
