نفضّل أن تسمع منا نقاط ضعف المستخدمين الافتراضيين على أن تكتشفها في اجتماع مجلس الإدارة. لذلك نعرض هنا أربعة أنماط من الإخفاق توثّقها الأبحاث أفضل توثيق، وما يفعله Cast تجاه كل نمط.
1. آراء من؟
سأل Shibani Santurkar (يفتح في علامة تبويب جديدة) وزملاؤه في Stanford (يفتح في علامة تبويب جديدة) سؤالًا في عنوان بحثهم: Whose Opinions Do Language Models Reflect? (يفتح في علامة تبويب جديدة) واعتمدوا على استطلاعات رأي عام شملت 60 فئة سكانية أمريكية. ووجدوا «فجوة كبيرة بين الآراء التي تعكسها النماذج اللغوية الحالية وآراء الفئات السكانية الأمريكية»، وهي فجوة «تعادل الانقسام بين الديمقراطيين والجمهوريين حول تغير المناخ». وبعض الفئات، ومنها من تزيد أعمارهم على 65 عامًا، بقي حضورها ضعيفًا حتى عندما وُجّه النموذج نحوها.
ردنا في التصميم: لا يكون المستخدم الافتراضي أبدًا صوتًا أوليًا لنموذج لغوي. يبحث وكيل الاختيار في سوق كل دور ومدينته وظروفه، وترى بنفسك مصدر كل معلومة.
2. متوسطون أكثر من اللازم
وجد James Bisbee (يفتح في علامة تبويب جديدة) وزملاؤه في Political Analysis (يفتح في علامة تبويب جديدة) أن «متوسط الدرجات التي ولّدها ChatGPT يقارب كثيرًا متوسطات استطلاعنا المرجعي»، ومع ذلك فإن «أخذ العينات عبر ChatGPT لا يصلح للاستدلال الإحصائي». فقد تباينت إجابات المستخدمين الافتراضيين أقل من تباين إجابات الناس الحقيقيين، واختلفت نتائج الانحدار في كثير من الأحيان.
ردّنا في التصميم: تتحكم أنت في التباين، أي مدى اختلاف المستخدمين الافتراضيين بعضهم عن بعض، في كل بُعد. ويضم كل طاقم متشككين. ونعرض النتائج أنماطًا وترتيبات، لا إحصاءات تُعمَّم على مجتمع كامل.
3. حريصون على الإرضاء أكثر من اللازم
بيّن باحثون من Anthropic (يفتح في علامة تبويب جديدة) في Toward Understanding Sycophancy (يفتح في علامة تبويب جديدة) أن «التملق (يفتح في علامة تبويب جديدة) سلوك عام لدى مساعدي الذكاء الاصطناعي المتقدمين»: فحين تطابق الإجابة آراء المستخدم، «يزيد احتمال تفضيلها». وهذا سمّ في البحث. المستجيب الذي يريد إرضاءك سيمدح فكرتك.
ردّنا في التصميم: لا يرى المستخدمون الافتراضيون فرضياتك أبدًا. والمخرج مكلّف بألا يوجّه الإجابة وألا يروّج لفكرة. ويعيد الناقد الإجابات الخارجة عن الشخصية أو «الحريصة على الإرضاء أكثر من اللازم».
4. هويات مسطّحة
حذّر Angelina Wang (يفتح في علامة تبويب جديدة) وJamie Morgenstern (يفتح في علامة تبويب جديدة) وJohn Dickerson (يفتح في علامة تبويب جديدة) في Nature Machine Intelligence (يفتح في علامة تبويب جديدة) من أن النماذج التي تحل محل المشاركين البشر قد «تشوّه صورة الفئات الهوياتية وتسطّحها»، وأن تقنيات التخفيف تقلل الضرر ولا تزيله (نسخة أولية على arXiv (يفتح في علامة تبويب جديدة)).
ردّنا في التصميم: نبني الأشخاص من ظروفهم (الوظيفة، المدينة، القيود، التاريخ) لا من تسميات الهوية وحدها، ونصف كل مستخدم افتراضي بأنه مستخدم افتراضي أينما ظهر. وعندما يمس قرار ما مجتمعًا بعمق، ننصحك بالحديث مع هذا المجتمع.
الخلاصة
لا يجعل أي من أنماط الإخفاق هذه البحث بالمستخدمين الافتراضيين بلا فائدة. ما يفقده الفائدة هو البحث المهمل بالمستخدمين الافتراضيين. حين تعرف أين تقع الحدود بدقة، تستطيع أن تعتمد على ما يقع داخلها بثقة.
قائمة مراجعة لاكتشاف البحث الرديء بالمستخدمين الافتراضيين
سواء استخدمت Cast أو أداة أخرى، فهذه علامات تحذير تدلك على أن دراسة المستخدمين الافتراضيين انحرفت. معظمها صور من مشكلات تصيب البحث مع البشر أيضًا، مثل تحيز الرغبة الاجتماعية (يفتح في علامة تبويب جديدة) وتحيز الموافقة (يفتح في علامة تبويب جديدة)، أي الميل إلى الموافقة على كل ما يُعرض عليك.
- الجميع يحب الفكرة. الأسواق الحقيقية لا تُجمع على شيء.
- الإجابات عامة. عبارة «السعر مهم بالنسبة إلي» لا تخبرك بشيء، أما «سأدفع 300 لو حلّ محل منسّق الشحنات لدي» فتخبرك بالكثير.
- جميع المستجيبين يتحدثون بالطريقة نفسها، بالعبارات نفسها والبنية نفسها.
- أرقام دقيقة بشكل مريب، مثل «73.4% سيشترون»، من اثنتي عشرة مقابلة.
- الأسئلة تذكر الإجابة التي تريدها.
الأسئلة الموجِّهة أكبر المخاطر
السؤال الموجِّه (يفتح في علامة تبويب جديدة) يوحي بإجابته. فسؤال «كم ستوفّر لك هذه الميزة الجديدة؟» يفترض أنها توفّر شيئًا. يقاوم البشر الأسئلة الموجِّهة قليلًا، وتقاومها النماذج أقل. ولهذا فإن قاعدة البيت الأولى في Cast هي ألا نوجّه الشاهد، ولهذا يُكلَّف المخرج بالسؤال عن السلوك السابق قبل أن يذكر فكرتك.
متى تتوقف وتلجأ إلى البشر
بعض القرارات لا ينبغي أن تقوم على مقابلات مع مستخدمين افتراضيين أصلًا. القرارات الطبية والقانونية وقرارات السلامة تحتاج إلى أشخاص حقيقيين وخبراء مؤهلين. وكذلك الأسئلة عن المجتمعات الصغيرة أو قليلة الحضور، حيث تقل معرفة النموذج ويرتفع خطر الصور النمطية. أما ما يعتمد على معلومات سرية، مثل الأسعار الداخلية لدى منافس، فهو خارج متناول أي نموذج دُرّب على بيانات عامة.
ما وجده الممارسون عند اختبار المستخدمين الافتراضيين
الأوراق الأكاديمية تقدم زاوية واحدة، والممارسون يقدمون زاوية أخرى. في Synthetic Users: If, When, and How to Use AI-Generated 'Research' (يفتح في علامة تبويب جديدة)، قارنت Maria Rosala وKate Moran من Nielsen Norman Group بين مستخدمين افتراضيين ومشاركين حقيقيين. قال أحد المستخدمين الافتراضيين: «نعم، أنهيت كل الدورات التي ذكرتها»، مع أن المتعلمين الحقيقيين كثيرًا ما يتركون الدورات عبر الإنترنت. وأعجبت المستخدمين الافتراضيين منتديات النقاش، بينما رآها المشاركون الحقيقيون «مفتعلة وغير مفيدة». وخلاصتهما عن اختبار الأفكار مألوفة: «الذكاء الاصطناعي يحب الإرضاء، وكثيرًا ما تبدو كل فكرة جيدة».
نرى أن هذا المقال يستحق القراءة كاملًا، خاصة إذا كنت متحمسًا للبحث بالمستخدمين الافتراضيين. خلاصته أن بحث المستخدمين يحتاج إلى مستخدمين حقيقيين. نتفق على أن المستخدمين الحقيقيين لا بديل عنهم، وقد بنينا Cast للمرحلة التي تسبقهم: تحديد الأسئلة والأشخاص الذين يستحقون وقت بحثك الحقيقي.
حدود مجموعات النقاش بالذكاء الاصطناعي، بلغة بسيطة
سلوك مثالي. تصف النماذج ما ينبغي أن يفعله الناس. أما الناس الحقيقيون فيتخطون خطوات وينسون كلمات المرور ويتركون الدورات. اسأل عن أحداث محددة وقريبة، وكن متشككًا في الروتين المثالي.
كل شيء مهم. لاحظت NN/g أن «المستخدمين الافتراضيين يبدو أنهم يهتمون بكل شيء». حين تبدو كل ميزة مهمة، يصبح ترتيب الأولويات مستحيلًا. فاطرح خيارات متعارضة: «يمكنك الإبقاء على اثنتين فقط من هذه».
المبالغة الكاريكاتورية. قدّم Myra Cheng وTiziano Piccardi وDiyi Yang أداة CoMPosT (يفتح في علامة تبويب جديدة) لقياس المبالغة الكاريكاتورية في محاكاة الذكاء الاصطناعي. ووجدوا في GPT-4 أن محاكاة بعض الفئات، خاصة السياسية والمهمّشة، «شديدة القابلية للمبالغة الكاريكاتورية».
قوالب نمطية جاهزة. في Marked Personas (يفتح في علامة تبويب جديدة) وجد Cheng وEsin Durmus وDan Jurafsky أن الشخصيات التي ولّدها GPT-3.5 وGPT-4 «تحتوي على نسب أعلى من القوالب النمطية العرقية مقارنة بالتصويرات التي كتبها البشر باستخدام التعليمات نفسها».
عدسة غربية. سأل Mohammad Atari وJoseph Henrich وزملاؤهما Which Humans? (يفتح في علامة تبويب جديدة) ووجدوا أن إجابات النماذج تشبه أكثر سكان المجتمعات الغربية الصناعية الغنية الديمقراطية (WEIRD)، ويقل التشابه كلما ابتعدت المجتمعات عنها.
مثال تطبيقي: اكتشاف الإخفاق مبكرًا
تخيّل مؤسسة تبني تطبيق ادخار لسائقي خدمات النقل التشاركي في نيروبي. تبدو دراستها الأولى جيدة، لكن شيئًا ما غير مضبوط. كل مستخدم افتراضي يتحدث عن تطبيقات الميزانية والرواتب الشهرية وبطاقات الائتمان. هذه نظرة غربية إلى المال، نظرة موظف براتب ثابت، لا حياة سائق يتقاضى أجره يوميًا عبر المحفظة الإلكترونية.
إليك كيف يمكنها أن تعالج ذلك. تعيد كتابة الموجز بالظروف: الدخل اليومي، وتكاليف الوقود، وقسط السيارة أو رسوم الإيجار، والتزامات الأسرة، وطرق الادخار التي يتبعها السائقون أصلًا، مثل جمعيات الادخار غير الرسمية. ترفع التباين ليتوزع الطاقم على مستويات خبرة مختلفة. وتقرأ المصادر التي وجدها وكيل الاختيار وتصحح ما هو قديم منها. وعند إعادة التشغيل تصبح الاعتراضات محددة: أقساط السيارة الأسبوعية، والدخل غير المنتظم، والريبة من حجز المال. هذه أمور تستحق أن تُعرض على سائقين حقيقيين.
الدرس ليس أن الدراسة الأولى لا قيمة لها. فالنتيجة العامة كانت إشارة إلى أن الموجز ضعيف.
بحث متابعة يسد الثغرات
- قارن شريحة صغيرة: قابل خمسة أشخاص حقيقيين من أهم جمهورك، وتحقق من تطابق اعتراضاتهم الرئيسة مع اعتراضات الطاقم.
- ابحث عن بيانات سلوكية، مثل التحليلات أو مكالمات المبيعات أو تذاكر الدعم، فلا تستطيع أي دراسة بالمستخدمين الافتراضيين إنتاجها.
- للمجتمعات الضعيفة الحضور على الإنترنت، اعمل مع باحثين محليين أو أفراد من المجتمع، لا مع النماذج وحدها.
- دوّن النتائج التي جاءت من المستخدمين الافتراضيين وتلك التي جاءت من الناس، حتى لا يخلط بينها أحد لاحقًا.
أسئلة عن أنماط إخفاق الذكاء الاصطناعي
هل يلغي Cast هذه المشكلات؟
لا تستطيع أي أداة ذلك. صُمم Cast ليقللها وليجعلها مرئية، فترى متى تكون النتيجة ضعيفة.
كيف أعرف أن دراستي وقعت في أحد أنماط الإخفاق؟
انظر إلى سجل الناقد وإلى تباين الإجابات. الدراسة التي لم يُشر فيها إلى شيء تقريبًا وفيها اتفاق شبه تام تستحق الشك.
ما نمط الإخفاق الأهم للمؤسسين؟
المجاملة. فالطاقم الموافق يؤكد ما تؤمن به أصلًا، وهي النتيجة الوحيدة التي لا تفيدك.
هل تحل مجموعة نقاش بالذكاء الاصطناعي محل مجموعة نقاش حقيقية؟
لا. يمكنها أن تساعدك على الإعداد لمجموعة حقيقية: باختبار دليل النقاش، وكشف الاعتراضات المحتملة، واختيار من تدعوهم. أما السلوك والانفعال داخل القاعة والمفاجأة الحقيقية فتحتاج إلى أشخاص حقيقيين.
هل ينفع المستخدمون الافتراضيون في الأسواق غير الغربية؟
يمكن أن يفيدوا، لكن الأبحاث تبين أن النماذج تميل إلى الأنماط الغربية. أعطِ كل مستخدم افتراضي ظروفًا محلية مفصلة، وتحقق من المصادر، وراجع النتائج مع أشخاص محليين قبل أن تتصرف بناءً عليها.
اقرأ التالي: لماذا يستخدم Cast أربعة نماذج ذكاء اصطناعي بدل نموذج واحد.
