كل باحث يعرف هذا الشعور. تصمم تجربة، وتجنّد مئات الأشخاص، وتنتظر أسابيع، ثم يتبين أن الأثر الذي كنت واثقًا منه ضئيل. فماذا لو حصلت أولًا على معاينة مقبولة؟
هذا هو السؤال الذي تدور حوله الورقة Large language models can predict the results of social science experiments (يفتح في علامة تبويب جديدة)، المنشورة في Nature في يوليو 2026 من تأليف Ashwini Ashokkumar (يفتح في علامة تبويب جديدة) وLuke Hewitt (يفتح في علامة تبويب جديدة) وIsaias Ghezae (يفتح في علامة تبويب جديدة) وRobb Willer (يفتح في علامة تبويب جديدة).
اختبار كبير جدًا
جمع الفريق «70 تجربة مسحية مسجلة مسبقًا، وعيّنتها تعكس التركيبة السكانية على المستوى الوطني في الولايات المتحدة، وتشمل 469 أثرًا تجريبيًا و119,330 مشاركًا». ثم طلبوا من GPT-4 أن يتوقع كيف سيستجيب الناس لكل معالجة، وقارنوا هذه التوقعات بما حدث فعلًا. ارتبطت التوقعات ارتباطًا قويًا بالآثار الحقيقية، وكانت دقتها قريبة من دقة توقعات الخبراء البشر عند جمعها.
وهذا ما أقنعنا بأن النموذج لا يستعيد الأبحاث من ذاكرته فقط: صمدت الارتباطات في دراسات لم تكن قد نُشرت حين دُرّب النموذج. وكما قال Hewitt لموقع Stanford HAI (يفتح في علامة تبويب جديدة): «وجدنا أن النموذج اللغوي يستطيع تقديم تنبؤات دقيقة نسبيًا حتى في تجارب جديدة تمامًا».
وبوسعك أن تجرب بنفسك: بنى المؤلفون عرضًا تجريبيًا عامًا على treatmenteffect.app (يفتح في علامة تبويب جديدة) يتوقع آثار المعالجات على البالغين في الولايات المتحدة.
التحفظات موجودة في الملخص، وهذا يعجبنا
لا تبالغ الورقة في ادعاءاتها. يقول ملخصها بوضوح: «رغم الارتباطات المرتفعة، بالغت التنبؤات بانتظام في تقدير أحجام الأثر». وفي أرشيف ثانٍ يضم 15 دراسة ضخمة و606 آثار، «كانت الارتباطات أقل لكنها مماثلة لارتباطات الخبراء عند جمع توقعاتهم». كما استطلع الباحثون آراء 460 من علماء الاجتماع حول الاستخدامات والمخاطر.
وملاحظة صريحة أخرى: إن قرأت تغطيات أقدم فسترى أرقامًا مختلفة قليلًا (476 أثرًا، r = 0.85). هذه الأرقام من النسخة الأولية لعام 2024، الموصوفة في صفحة مشروع المختبر (يفتح في علامة تبويب جديدة). النسخة المنشورة في Nature هي التي ينبغي الاستشهاد بها.
ماذا يعني هذا لمؤسسي الشركات
إن استطاع الذكاء الاصطناعي ترتيب أفكارك بحسب تأثيرها في الناس، وتقدير حجم هذا التأثير تقريبًا، فبإمكانك اختبار عشر أفكار بدل فكرة واحدة. وتبقى حاجتك إلى التحقق من الفائزة مع عملاء حقيقيين، لكنك تدخل تلك الدراسة بفرضية أدق وميزانية أصغر.
وفي عبارة «بالغت بانتظام» درس عملي أيضًا. يتعامل Cast مع النسب التي يقدمها المستخدمون الافتراضيون على أنها ترتيب للخيارات وليست توقعًا، ويذكر ذلك في كل تقرير. إذا اعترض ثمانية من اثني عشر مستخدمًا افتراضيًا على الشحن الليلي، فهذا الاعتراض مهم. أما هل تبلغ نسبته 67% في السوق فعلًا، فسؤال يجيب عنه العملاء الحقيقيون.
لماذا تختلف هذه الدراسة عن سابقاتها
أظهرت دراسات سابقة أن النماذج اللغوية قادرة على إعادة إنتاج نتائج شهيرة. وكان الانتقاد المنصف أن هذه النتائج منتشرة في كل مكان على الإنترنت، فربما يتذكرها النموذج ببساطة. صُممت هذه الدراسة للرد على هذا الانتقاد. فقد استخدمت أرشيفًا كبيرًا من تجارب المسوح أُجريت على عينات تمثل السكان على مستوى الدولة، ومنها تجارب كثيرة لم تُنشر قط، وتحققت مما إذا كانت التنبؤات تصمد في أعمال لم يكن بوسع النموذج الاطلاع عليها.
وقارنت كذلك بين النموذج وأشخاص مهنتهم توقع هذه الأمور: علماء الاجتماع. وحين تقارب توقعات النموذج توقعات الخبراء المجمعة وتأتي أسرع بكثير، يصبح أداة عملية لتحديد ما يستحق الاختبار.
ماذا تعني «المبالغة في تقدير أحجام الأثر» بالنسبة إليك
افترض أنك تختبر عنوانين لصفحة هبوط. قد يقول التوقع إن العنوان B أكثر إقناعًا من A بكثير. يشير البحث إلى أن الترتيب (B يتفوق على A) يرجح أن يصمد، لكن حجم الفارق سيكون على الأرجح أصغر في الواقع. عمليًا، استخدم توقعات الذكاء الاصطناعي لتختار النسخ التي تستحق زيارات حقيقية، وتوقع فروقًا أكثر تواضعًا في الواقع.
خطوات بسيطة مستوحاة من هذا البحث
- اكتب من ثلاث إلى خمس أفكار لست متأكدًا منها فعلًا، مثل رسائل أو أسعار أو ميزات.
- مررها عبر Cast مع الجمهور نفسه، وقارن الأنماط والأسباب، لا النسب وحدها.
- تخلَّ عن الأفكار الخاسرة بوضوح، واحتفظ بالفكرة الأولى أو الفكرتين الأوليين.
- اختبرها مع عملاء حقيقيين. توقع فروقًا أصغر مما اقترحه الذكاء الاصطناعي، وخطط لحجم العينة على هذا الأساس.
البشر يبالغون في تقدير الأثر أيضًا
تبدو عبارة «بالغ في تقدير أحجام الأثر بشكل منتظم» كأنها عيب خاص بالذكاء الاصطناعي. وليست كذلك. درس Stefano DellaVigna وEva Vivalt مئة مشروع نُشرت على Social Science Prediction Platform (يفتح في علامة تبويب جديدة)، وهو موقع يجمع توقعات الخبراء لنتائج البحوث قبل إجراء الدراسات. وفي ورقتهما البحثية في NBER (يفتح في علامة تبويب جديدة) بعنوان Forecasting Social Science: Evidence from 100 Projects (يفتح في علامة تبويب جديدة)، يذكران أن المتوقعين يميلون أيضًا إلى المبالغة في تقدير آثار المعالجات، بينما يظل متوسط التوقعات متتبعًا للنتائج الفعلية جيدًا. ووجدا كذلك أن الثقة الأعلى ارتبطت بدقة أقل.
إذن يرتكب الذكاء الاصطناعي خطأً بشريًا جدًا. وهذا مطمئن من جهة، وتحذير من جهة أخرى. سواء جاء توقعك من نموذج أو مستشار أو حدسك، فالأثر الذي تتوقعه على الأرجح أكبر من الذي ستحصل عليه.
لماذا تحقق معظم الأفكار أقل مما تأمل
إن أردت تذكيرًا حيًا، فاقرأ دراسة التمارين الضخمة (يفتح في علامة تبويب جديدة) التي قادتها Katherine Milkman ونُشرت في Nature عام 2021. صمم ثلاثون عالمًا من 15 جامعة أمريكية 54 برنامجًا مختلفًا مدة كل منها أربعة أسابيع لتشجيع 61,293 عضوًا في سلسلة نوادٍ رياضية أمريكية على ممارسة الرياضة. زادت 45% فقط من التدخلات زيارات النادي الأسبوعية زيادة معنوية، وأحدثت 8% فقط تغييرًا معنويًا وقابلًا للقياس بعد انتهاء الأسابيع الأربعة.
هذه نسبة نجاح صادمة من خبراء يعملون على مشكلة مدروسة جيدًا. وهي أيضًا أقوى حجة للاختبار المسبق الرخيص: إذا كانت معظم الأفكار ستفشل، فالخطوة الرابحة أن تختبر أفكارًا أكثر وفي وقت أبكر.
ما الذي يستطيع التوقع إخبارك به وما الذي لا يستطيع
- الترتيب: أي نسخة من نسخك يرجح أن تحقق أفضل أداء. هنا تكون الأدلة أقوى.
- الاتجاه: هل سيفيد التغيير أم يضر. وهو موثوق عادة في التعديلات الواضحة والبسيطة.
- الحجم: كم سيبلغ الأثر. توقع أن تكون الآثار الحقيقية أصغر، وخطط لحجم العينة على هذا الأساس.
- المجموعات الفرعية: هل تتفاعل فئات مختلفة من الناس بطرق مختلفة. تعرض ورقة Nature الدقة لكل مجموعة ديموغرافية أمريكية على حدة، لكن اعتبر هذه النتائج خيوطًا تستحق التحقق.
لماذا يفيد حساب المتوسط
هناك تفصيل في البيانات الموسعة للورقة يستحق اهتمامًا أكبر: حين يُؤخذ متوسط النتائج عبر عدد أكبر من الأوامر، تتحسن دقة التنبؤ. الأمر الواحد، مثل المقابلة الواحدة، يحمل ضجيجًا. أما الأوامر الكثيرة المختلفة الصياغة، مثل الأشخاص المختلفين، فتلغي جزءًا من هذا الضجيج.
لهذا السبب لا يعتمد Cast أبدًا على مستخدم افتراضي واحد. تجري كل دراسة مقابلات مع الطاقم كاملًا في وقت واحد، وتُبقي تقنية التباين المستخدمين الافتراضيين مختلفين فعلًا عن بعضهم، ويضم الطاقم دائمًا متشككين. تأتي النتائج من النمط الذي يظهر عبر الأشخاص، لا من صوت واحد مقنع.
مثال تطبيقي: التخطيط لاختبار حقيقي
تخيل مؤسسة تطبيق لتعلم اللغات تريد اختبار ثلاث رسائل ترحيبية: الأولى عن السرعة، والثانية عن الثقة في العمل، والثالثة عن الأسرة في الخارج. تشير دراسة من Cast إلى أن رسالة الثقة تلقى أكبر صدى لدى المهنيين العاملين، بينما تتفوق رسالة الأسرة لدى المستخدمين الأكبر سنًا.
ولا تعدّ ذلك الجواب النهائي، بل تستخدمه لتصميم اختبار حقيقي. تحتفظ بالرسالتين الأقوى، وتستبعد الثالثة، وتخطط لتجربتها على افتراض فارق متواضع، لأن البشر والنماذج يميلون إلى المبالغة. وتوضح نظرة سريعة على القدرة الإحصائية (يفتح في علامة تبويب جديدة) سبب أهمية ذلك: الآثار المتوقعة الأصغر تحتاج إلى عينات أكبر لرصدها. والبدء بنسختين بدل ثلاث يجعل بلوغ هذه العينة أسهل.
مسرد المصطلحات
أثر المعالجة: الفرق في النتائج بين من رأوا تغييرًا ومن لم يروه. حجم الأثر: مدى كبر هذا الفرق، وغالبًا بوحدات معيارية، كما هو موضح هنا (يفتح في علامة تبويب جديدة). التسجيل المسبق: نشر فرضياتك وخطة التحليل قبل جمع البيانات. الدراسة الضخمة: تجربة كبيرة تقارن تدخلات كثيرة في المجتمع نفسه على النتيجة نفسها.
أسئلة حول توقع التجارب
ما التجارب التي كان توقع النموذج لها الأسوأ؟
يذكر الملخص أن الارتباطات كانت أدنى في أرشيف منفصل من الدراسات الضخمة، وإن بقيت قريبة من توقعات الخبراء. والتصاميم المعقدة متعددة الشروط أصعب في التوقع.
هل يعني هذا أننا لم نعد بحاجة إلى التجارب؟
لا. يقدم المؤلفون الذكاء الاصطناعي وسيلة لدعم البحث، ولاختيار ما يُختبر وتجريب التصاميم، لا بديلًا عن إجراء الدراسات.
هل أستطيع تجربة توقعات النموذج بنفسي؟
نعم، أطلق المؤلفون عرضًا تجريبيًا عامًا على treatmenteffect.app، وقد وضعنا الرابط أعلاه.
هل توقعات الذكاء الاصطناعي أفضل من سؤال الخبراء؟
في هذا البحث كانت مماثلة لتوقعات الخبراء عند جمعها، وأسرع بكثير في الحصول عليها. وكلاهما يميل إلى المبالغة في تقدير أحجام الأثر، فلا يغني أي منهما عن إجراء التجربة.
كم نسخة أختبر مع عملاء حقيقيين بعد دراسة من Cast؟
عادة نسختان أو ثلاث. استخدم Cast لاستبعاد الخاسرة بوضوح، ثم اختبر الخيارات الأقوى مع أشخاص حقيقيين، وخطط لحجم العينة على أساس أثر أصغر مما اقترحه الذكاء الاصطناعي.
اقرأ أيضًا: لماذا تتفوق المقابلات التي تدوم ساعتين على البيانات الديموغرافية.
