من واحد إلى كثيرين: الورقة التي جعلت «العينات السيليكونية» محل احترام

في عام 2023 طلب فريق من جامعة Brigham Young من نموذج لغوي أن يصوّت. غيّرت النتيجة نظرة علماء الاجتماع إلى المستجيبين من الذكاء الاصطناعي.

·القراءة: 8 دقيقة·المصادر المرتبطة: 20

حشد من الناس من مختلف الأعمار يعبرون شارعًا مشمسًا في المدينة، تظهر الصورة من الأعلى

تخيّل باحثًا في العلوم السياسية عام 2022، يحدّق في بند ميزانية لمسح وطني تفوق كلفته سعر سيارة صغيرة. ثم تخيّل الباحث نفسه يكتب خلفية قصيرة في نموذج لغوي («أنا امرأة عمري 54 عامًا من أوهايو، أذهب إلى الكنيسة كل أسبوع، وأملك مشروعًا صغيرًا») ويسأله لمن صوّت. هذا تقريبًا ما فعلته Lisa Argyle (يفتح في علامة تبويب جديدة) وزملاؤها في Brigham Young University (يفتح في علامة تبويب جديدة). ورقتهم Out of One, Many: Using Language Models to Simulate Human Samples (يفتح في علامة تبويب جديدة)، المنشورة في Political Analysis، هي سبب ظهور عبارة «العينة السيليكونية» اليوم في ندوات المنهجية الجادة.

ماذا فعلوا فعلًا

زوّد الفريق نموذج GPT-3 بآلاف الخلفيات الاجتماعية والديموغرافية الحقيقية، أُخذت من أشخاص أجابوا عن مسح American National Election Studies (يفتح في علامة تبويب جديدة). ثم طلبوا من النموذج أن يجيب كما يجيب كل شخص منهم. وسمّوا الخاصية التي يختبرونها الدقة الخوارزمية: هل يعيد النموذج أنماط الفئات الفرعية الحقيقية، وليس المتوسط الوطني فقط؟

النتيجة الرئيسية لافتة حتى اليوم. بين جميع المستجيبين، بلغت معاملات الارتباط الرباعي بين الناخبين السيليكونيين والحقيقيين في اختيار الرئيس 0.90 عام 2012، و0.92 عام 2016، و0.94 عام 2020. ويشير المؤلفون إلى أن «أكثر من نصف معاملات الارتباط الرباعي» في جداولهم تبلغ 0.90 أو أكثر. يمكنك قراءة النسخة الأولية كاملة على arXiv (يفتح في علامة تبويب جديدة).

الورقة البحثيةOut of One, Many: Using Language Models to Simulate Human SamplesArgyle, Busby, Fulda, Gubler, Rytting, Wingate · Political Analysis, 2023ما توصلت إليه: أعاد GPT-3 إنتاج أنماط التصويت والمواقف لدى فئات سكانية أمريكية، حين زُوّد بخلفيات بُنيت من مستجيبين حقيقيين في المسوح. ويسمي المؤلفون ذلك الدقة الخوارزمية.اقرأ على arXiv (يفتح في علامة تبويب جديدة)موقع الناشر (يفتح في علامة تبويب جديدة)

أربعة اختبارات وليس اختبارًا واحدًا

ما يعجبنا في هذه الورقة أنها لم تكتفِ بعبارة «الأرقام متقاربة». فقد اقترحت أربعة معايير يجب أن تجتازها العينة المحاكاة: اختبار تورينغ للعلوم الاجتماعية (هل يميز الناس بين الإجابات؟)، والاستمرارية الرجعية (هل تناسب الإجابات الخلفية القصصية؟)، والاستمرارية الأمامية (هل تنبع منها بشكل طبيعي؟)، وتطابق الأنماط (هل تطابق العلاقات بين المتغيرات البيانات الحقيقية؟). أصبح هذا الإطار اليوم طريقة شائعة لتقييم جودة أي مستخدمين افتراضيين أو مستجيبين من الذكاء الاصطناعي.

“«إنه لا يحل محل البشر، لكنه يساعدنا على دراسة الناس بفعالية أكبر.»”
Ethan Busby، مؤلف مشارك، في بيان صادر عن BYU (يفتح في علامة تبويب جديدة)

الجانب الصريح

هذه يوميات وليست كتيبًا دعائيًا، ولذلك نذكر ما يبقينا حذرين. أعاد Jamie Cummins (يفتح في علامة تبويب جديدة) في عام 2025 تحليل إحدى دراسات Argyle في ورقته The threat of analytic flexibility (يفتح في علامة تبويب جديدة)، فبناها في 66 طريقة مختلفة، ووجد أن التطابق بين إجابات البشر وإجابات «العينات السيليكونية» تأرجح «من r = .23 إلى r = .84» بحسب الإعداد. وبيّن Bisbee وزملاؤه في Political Analysis (يفتح في علامة تبويب جديدة) أن عينات المستخدمين الافتراضيين قد تصيب المتوسط تمامًا، لكنها تُظهر «تباين أقل في الإجابات مما في الاستطلاعات الحقيقية».

بعبارة أخرى: طريقة بناء الشخصية مهمة جدًا. وطلب ديموغرافي من سطر واحد لا يصنع شخصًا.

ماذا يعني هذا لدى Cast

لهذا لا يكتفي Cast بالبيانات الديموغرافية. يمنح وكيل الاختيار لدينا كل مستخدم افتراضي حياة مدروسة (مدينة ووظيفة وأسعارًا يدفعها فعلًا وأسبوعًا سيئًا)، ويُنوّع بين الأشخاص عمدًا وفق أبعاد التباين التي تحددها، حتى لا ينهار الطاقم إلى متوسط واحد مهذب. ثم يراجع ناقد منفصل كل إجابة بحثًا عن وقائع مختلقة وعن مجاملة المستخدم. أثبت فريق Argyle أن الإشارة حقيقية. ومهمتنا أن نُبقي الضجيج صادقًا.

لماذا «الدقة» هي الكلمة الصحيحة

يحكم معظم الناس على إجابات الذكاء الاصطناعي بسؤال: «هل هذا صحيح؟» أما فريق Argyle فطرح سؤالًا أدق: هل هذا أمين؟ العينة السيليكونية الأمينة لا تحتاج إلى معرفة الإجابة الصحيحة عن سؤال. تحتاج إلى أن تجيب كما يجيب نوع معين من الناس، بما فيه نقاط عماهم وأولوياتهم وما يقايضون به. ينبغي أن يختلف مزارع متقاعد في السبعين ومهندس برمجيات في الخامسة والعشرين بطرق مألوفة، وعلى النموذج أن يعيد هذا الاختلاف.

هذا الإطار مهم لأبحاث العملاء. نادرًا ما تسأل «ما أفضل منتج بشكل موضوعي؟» أنت تسأل: «كيف سيتفاعل مدير عمليات مشغول في الرياض مع هذا العرض، مقارنة بمسؤول مالي في دبي؟» والدقة في النمط هي ما تحتاجه تمامًا.

كيف تبدو الخلفية فعلًا

في الدراسة زُوّد كل مستجيب سيليكوني بوصف بصيغة المتكلم، بُني من إجابات حقيقية في المسح: العمر والجنس والعرق والمنطقة والاهتمام بالسياسة وحضور الكنيسة والأيديولوجيا والانتماء الحزبي. ثم طُرح على النموذج سؤال بالصوت نفسه. وكلما كانت الخلفية أغنى وأكثر تحديدًا، اقتربت إجابات النموذج من النمط البشري.

هذا ما يتجاوزه المؤسسون كثيرًا. طلب مثل «تخيّل أنك أم عمرها 35 عامًا» صورة نمطية وليس شخصًا. أما خلفية تذكر أين تسكن وكم تدفع للحضانة وكيف تتسوق وما الذي أخفق في آخر تطبيق جرّبته، فتمنح النموذج مادة حقيقية يستند إليها.

كيف تطبّق هذا في دراستك القادمة

  1. صِف كل جمهور بظروفه وليس بتسميات فقط: الميزانية والقيود والتجارب الأخيرة والبدائل التي يستخدمها اليوم.
  2. اطلب عدة مستخدمين افتراضيين لكل شريحة، بخلفيات مختلفة عن قصد، لترى مدى التباين لا المتوسط وحده.
  3. قارن الأنماط بين الجماهير («من يهتم بالسعر أكثر؟») بدل قراءة نسبة واحدة كأنها توقع للسوق.
  4. خذ أقوى نمطين أو ثلاثة إلى عملاء حقيقيين لتأكيدها قبل أن تلتزم بالميزانية.

المستخدمون الافتراضيون في مقابل لوحات الاستطلاع: ما الغرض الحقيقي من كل منهما

كثيرًا ما يُطرح الأمر كمنافسة بين عينات السيليكون ولوحات الاستطلاع الحقيقية. هذا الطرح يخفي ما يجيده كل طرف. لوحة الاحتمالات، مثل American Trends Panel (يفتح في علامة تبويب جديدة) لدى Pew Research Center، تختار بالغين حقيقيين بالسحب العشوائي. بعد الترجيح، تصلح إجاباتهم للتعبير عن بلد كامل. وهذا هو المعيار الذهبي حين تحتاج إلى رقم قابل للنشر.

لا تستطيع العينة السيليكونية أن تعطيك ذلك الرقم بأمانة. لكنها تعطيك السرعة والاتساع ونظرة أولى على السبب. يمكنك أن تسأل اثني عشر نوعًا من العملاء السؤال نفسه في عصر يوم واحد، وأن تقرأ أسبابهم كاملة. والنمط المعقول أن تستخدم المستخدمين الافتراضيين لتحديد ما تسأل عنه، وأن تعتمد على لوحة استطلاع حقيقية أو مقابلات حقيقية لتحديد الصحيح.

ماذا وجدت الأبحاث اللاحقة حين شددت الاختبار

فتحت ورقة Argyle الباب، ثم دخلت منه فرق أخرى باختبارات أشد صرامة. في Stanford (يفتح في علامة تبويب جديدة) بنى Shibani Santurkar (يفتح في علامة تبويب جديدة) وزملاؤها OpinionsQA (يفتح في علامة تبويب جديدة) من 1,498 سؤالًا مأخوذة من American Trends Panel لدى Pew، وقارنوا إجابات النماذج بإجابات 60 فئة ديموغرافية أمريكية. ووجدوا «عدم اتساق كبيرًا» «يستمر حتى بعد توجيه النماذج اللغوية صراحةً نحو فئات ديموغرافية معينة». وذكروا أن فئات مثل من بلغوا 65 عامًا فأكثر والأرامل لا تنعكس آراؤها جيدًا.

أجرى باحثون في Anthropic (يفتح في علامة تبويب جديدة) اختبارًا مشابهًا عبر الدول باستخدام GlobalOpinionQA (يفتح في علامة تبويب جديدة). في الإعداد المبدئي، كانت إجابات النموذج أقرب إلى آراء الولايات المتحدة وبعض الدول الأوروبية ودول أمريكا الجنوبية. وحين طُلب من النموذج تبنّي منظور بلد بعينه، اقتربت إجاباته من ذلك البلد. لكن الورقة تحذّر من أن هذه الإجابات «قد تعكس صورًا نمطية ثقافية ضارة»

أما Angelina Wang (يفتح في علامة تبويب جديدة) وJamie Morgenstern (يفتح في علامة تبويب جديدة) وJohn Dickerson (يفتح في علامة تبويب جديدة)، في عمل نُشر لاحقًا في Nature Machine Intelligence (يفتح في علامة تبويب جديدة)، فأجروا دراسات بشرية على 3,200 مشارك عبر 16 هوية، وذهبوا إلى أن النماذج تميل إلى تشويه صورة الفئات الديموغرافية وتسطيحها معًا. وخففت الحلول التي اقترحوها الضرر لكنها لم تزله.

خلاصة القول: التسمية الديموغرافية تعليمات ضعيفة، والنموذج يملأ الفراغ بمتوسط.

كيف تتحقق من المستخدمين الافتراضيين قبل أن تثق بهم

  1. اختر سؤالًا واحدًا تعرف إجابته الحقيقية، من بيانات عملائك أو من مسح صغير، ومرّره على عينتك السيليكونية أولًا.
  2. قارن ترتيب الفئات (من يهتم أكثر ومن يهتم أقل) بدل النسب الدقيقة.
  3. افحص التباين في الإجابات. إذا بدت كل إجابة من المستخدمين الافتراضيين متشابهة، فقد انكمشت العينة نحو المتوسط وتحتاج إلى قصص خلفية أكثر تنوعًا.
  4. حينها فقط اطرح الأسئلة الجديدة التي تهمك فعلًا، واحتفظ بأقوى النتائج لاختبار على أرض الواقع.

مثال تطبيقي

تخيّل مؤسِّسة في دبي تبني تطبيقًا لتخطيط الوجبات للآباء العاملين. تريد أن تعرف هل سيلقى الاشتراك الأسبوعي قبولًا أكبر أم الدفع لكل خطة. العينة السيليكونية المبنية على «أب أو أم في الثلاثينات، دبي» فقط ستعطيها غالبًا إجابة مرتبة وموافقة. أما عينة مبنية على الظروف (وظيفتان، ومساعدة منزلية أو دونها، وتوصيل الأطفال إلى المدارس، وميزانية للبقالة، وتجربة سيئة حديثة مع اشتراك صعب الإلغاء) فهي أرجح بكثير أن تُظهر لها الانقسام المهم: من يكره الالتزامات ولماذا.

في Cast، النسخة الثانية هي الأساس. يبحث وكيل الاختيار في السوق ليبني ظروف كل مستخدم افتراضي، ويضبط التباين مدى اختلافهم عن بعضهم، ويضم كل طاقم متشككين. ولا يرى المستخدمون الافتراضيون فرضيتها أبدًا، فلا يُدفع أحد نحو الاشتراك الذي تفضله سرًّا.

مسرد موجز

العينة السيليكونية: مجموعة من المستجيبين الذين أنشأهم الذكاء الاصطناعي، وهيّأتهم قصص خلفية ليجيبوا كما يجيب أنواع معينة من الناس. الأمانة الخوارزمية: مدى دقة محاكاة هؤلاء المستجيبين لأنماط المجموعات الحقيقية. الارتباط الرباعي (Tetrachoric): طريقة لقياس الاتفاق بين متغيرين من نوع نعم أو لا، كما لو أن لكل منهما مقياسًا متصلًا كامنًا، وشرحه موجود في Wikipedia (يفتح في علامة تبويب جديدة). العينة الاحتمالية: مجموعة من الأشخاص الحقيقيين يُختارون بطريقة عشوائية، فيمكن تعميم نتائجها على المجتمع.

أسئلة نسمعها عن العينات السيليكونية

هل يعني الارتباط المرتفع أن الذكاء الاصطناعي يصيب دائمًا؟

لا. يعني أن إجابات النموذج تحركت مع إجابات الناس الحقيقيين عبر الفئات. وقد تبقى الإجابات الفردية خاطئة، وتبيّن إعادة التحليل التي أشرنا إليها أعلاه أن النتائج تتغير بحسب إعداد الدراسة.

هل اختُبر هذا خارج السياسة الأمريكية؟

استخدمت الورقة الأصلية بيانات الانتخابات والمسوح في الولايات المتحدة. وتوسّع الأعمال اللاحقة الفكرة، ومنها الوكلاء المبنيون على المقابلات الذين نصفهم في مقالة أخرى، لكن الأداء قد ينخفض مع الثقافات الأقل حضورًا في بيانات التدريب. لهذا يبني Cast كل مستخدم افتراضي على بحث عن سوقه.

هل أستطيع نشر نتائج العينات السيليكونية على أنها نتائج مسح؟

ننصح بشدة بعدم ذلك. تعامل معها كفرضيات منظمة، وبيّن أنها صادرة عن مستخدمين افتراضيين، وهذا ما يفعله Cast في كل تقرير.

هل المستخدمون الافتراضيون أرخص من لوحة استطلاع عبر الإنترنت؟

غالبًا نعم، وبسرعة أكبر بكثير. لكنهم يجيبون عن سؤال مختلف. تقدّر لوحة الاستطلاع عدد الناس الذين يفكرون في أمر ما. أما المستخدمون الافتراضيون فيساعدونك على استكشاف ما قد يفكر فيه الناس ولماذا، فتعرف ما تسأل عنه لوحة الاستطلاع.

ما أسرع طريقة للتحقق من أن العينة السيليكونية تعمل؟

مرّر سؤالًا تعرف إجابته، ثم قارن ترتيب الفئات وتباين الإجابات ببياناتك الحقيقية. إذا كان الترتيب خاطئًا أو بدت كل الإجابات متشابهة، فأصلح الخلفيات قبل أن تسأل أي شيء جديد.

اقرأ بعد ذلك: ماذا يحدث حين يجري الاقتصاديون مقابلة مع نموذج لغوي.

هل وجدت هذا مفيدًا؟

اختبر فكرتك على اثني عشر عميلًا قبل الغداء.

أول 3 من المستخدمين الافتراضيين مجانًا. دون الحاجة إلى بطاقة.

ابدأ مجانًا

مقالات ذات صلة