إليك حقيقة تكشف حدودنا نحن البشر: إذا سألت شخصًا السؤال نفسه في استبيان بفارق أسبوعين، فلن يعطيك الجواب نفسه دائمًا. نحن متقلبون ومشغولون وغير ثابتين. لذلك حين يسأل الباحثون «ما مدى دقة نسخة ذكاء اصطناعي من شخص؟»، فالمعيار العادل ليس الكمال. المعيار هو مدى اتساق هذا الشخص مع نفسه.
هذا هو المعيار الذكي في صلب دراسة من Stanford (يفتح في علامة تبويب جديدة) قادها Joon Sung Park (يفتح في علامة تبويب جديدة)، نُشرت أول مرة بعنوان Generative Agent Simulations of 1,000 People (يفتح في علامة تبويب جديدة)، وعنوانها الآن LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals.
ماذا فعل الباحثون
استقطب الفريق «عينة وطنية متنوعة من 1,052 أمريكيًا»، وأجرى مقابلة مع كل منهم استغرقت نحو ساعتين. بلغ متوسط طول النص المكتوب للمقابلة 6,491 كلمة. ثم بنى الفريق وكيل ذكاء اصطناعي لكل شخص من مقابلته واستبياناته، وطلب من الوكلاء الإجابة عن أسئلة من General Social Survey (يفتح في علامة تبويب جديدة) كان الأشخاص قد أجابوا عنها أيضًا.
والنتيجة، كما وردت في النسخة الحالية من الورقة: «حقق الوكلاء المبنيون على المقابلات فقط، وعلى الاستبيانات فقط، وعلى الاثنين معًا دقة بلغت 83% و82% و86% على التوالي من معيار إعادة الاختبار (يفتح في علامة تبويب جديدة) الخاص بالمشاركين أنفسهم خلال أسبوعين، مقابل 74% للوكلاء المبنيين على البيانات الديموغرافية فقط.»
لماذا تهم الفجوة بين 74 و86
أعد قراءة هذه الأرقام. الوكيل المبني على العمر والجنس والعرق والتوجه السياسي فقط يحقق نتائج جيدة. أما الوكيل المبني على محادثة حقيقية فيتفوق عليه بوضوح. وكما قال Park لموقع Stanford HAI (يفتح في علامة تبويب جديدة): «ميزة بيانات المقابلات أنها تحمل خصوصيات الناس الفردية.»
الخصوصيات هي جوهر أبحاث العملاء. مديرا أسطول في الثامنة والثلاثين في الرياض، بالراتب نفسه، قد يتخذان قرارين متعاكسين لأن أحدهما تضرر من مورّد العام الماضي. البيانات الديموغرافية لا ترى ذلك. أما قصة الحياة فترى.
“أجرى الباحثون مقابلات مع 1,000 شخص، استغرقت كل مقابلة ساعتين، وأجراها معهم نظام ذكاء اصطناعي.”
قراءة متأنية
إذا قرأت عناوين تقول «دقة 85%»، فقد جاءت من النسخة الأولى من الورقة قبل التحكيم؛ وتغيرت الأرقام قليلًا في النسخة المراجعة. والمؤلفون صريحون: «لا نفهم بعد فهمًا كاملًا لماذا يعطي ربط الوكلاء بالتقارير الذاتية قدرة توقع عالية، ولا حدود هذا التوقع.» ويشيرون أيضًا إلى أن الاكتفاء بالبيانات الديموغرافية يعطي نتائج أضعف في الثقافات البعيدة عن الولايات المتحدة. والوكلاء غير متاحين للعامة كذلك: على الباحثين التقدم بطلب للوصول مع ضمانات صارمة للخصوصية، ونرى أن هذا هو الصواب تمامًا.
كيف شكّلت هذه الدراسة Cast
هذه الورقة من أسباب كون المستخدمين الافتراضيين لدينا ليسوا مجرد بيانات ديموغرافية مختصرة. يكتب وكيل الاختيار لكل شخص قصة خلفية مبنية على أبحاث منشورة عن سوقه: مدينته وعمله وما يكلفه وما الذي تعثر الشهر الماضي. المستخدمون الافتراضيون ليسوا نسخًا من أفراد حقيقيين (لا نحاكي أبدًا شخصًا حقيقيًا يمكن التعرف عليه)، لكنهم مبنيون بالطريقة التي يشير هذا البحث إلى أنها مهمة: من التفاصيل، لا من الفئات وحدها.
كيف أُجريت المقابلات
تحدث كل مشارك مع مُحاوِر من الذكاء الاصطناعي اتبع دليلًا شبه منظم مقتبسًا من بروتوكول معروف للتاريخ الشفهي، يغطي قصة حياته وقيمه وعمله وعلاقاته وآراءه في القضايا الراهنة. كان بوسع المحاوِر طرح أسئلة متابعة، ولهذا جاءت النصوص طويلة وشخصية. وصارت تلك النصوص ذاكرة كل وكيل.
بعد المقابلة، أكمل المشاركون مجموعة من المقاييس، منها أسئلة General Social Survey واختبارات الشخصية والألعاب الاقتصادية. وبعد أسبوعين أجابوا عن المقاييس نفسها مرة ثانية. وفّرت الجولة الثانية المعيار: ما مدى اتساق الشخص مع نفسه؟
لماذا كانت الشخصية والألعاب أصعب
تركّز النتائج الرئيسية على أسئلة الاستبيان، وهي المجال الذي حقق فيه الوكلاء أفضل أداء. وأوردت التغطية الأولية أيضًا معاملات الارتباط في اختبارات الشخصية وفي الألعاب الاقتصادية، وكانت في الألعاب أدنى بوضوح. وهذا منطقي. فالإجابة عن سؤال في استبيان تعبّر في الغالب عن رأي ثابت. أما القرار في لعبة اقتصادية فيعتمد على حكم اللحظة، وعلى الاستعداد للمخاطرة، وعلى السياق. وهذه عوامل يصعب على أي أحد توقعها، إنسانًا كان أم ذكاءً اصطناعيًا.
ماذا يعني هذا لبناء المستخدمين الافتراضيين
- امنح كل مستخدم افتراضي حياة لا تصنيفًا: أين يعيش، وماذا يفعل طوال يومه، وكم يدفع، وما الذي أزعجه مؤخرًا.
- اسأل عن السلوك السابق أولًا، لأن القصص عن قرارات حقيقية تحمل إشارة أقوى من الآراء حول حالات متخيلة.
- استخدم أسئلة المتابعة للتعمق، كما فعل المحاوِر من الذكاء الاصطناعي في هذه الدراسة.
- ابحث عن الخصوصيات في الإجابات. فهي كثيرًا ما تخبئ أفضل ما ستخرج به.
نتائج الحذف التي يفوتها معظم الناس
تحظى الأرقام الرئيسة بالاهتمام، لكن بعض أكثر النتائج فائدة عمليًا يقع في التحليلات الاستكشافية. حذف الباحثون عشوائيًا 80% من كل نص مقابلة، أي ما يعادل اقتطاع 96 دقيقة من محادثة مدتها 120 دقيقة. ومع ذلك بلغت دقة الوكلاء المعيارية 0.79 على أسئلة General Social Survey. هذا أدنى من المقابلة الكاملة، لكنه يظل أعلى من الوكلاء المبنيين على البيانات الديموغرافية وحدها.
وحوّلوا أيضًا كل نص إلى ملخص نقطي للوقائع («ابن وحيد»، «تزوج مرتين») مع حذف كلمات الشخص نفسه. بلغ الوكلاء المبنيون على هذه الملخصات 0.81. أي أن جانبًا كبيرًا من القيمة يبدو آتيًا من المعلومات في المقابلة، لا من طريقة كلام الناس فحسب. وهذا مشجع لكل من يبني مستخدمين افتراضيين: وقائع مختارة جيدًا من حياة الشخص تحمل إشارة كبيرة.
عوائد متناقصة، ونتائج أعدل
تضيف النسخة الحالية من الورقة نتيجتين تستحقان المعرفة. الأولى أن الجمع بين المقابلات والاستبيانات أعطى أفضل دقة، لكن «المكاسب مقارنة بأي مصدر منفرد كانت متواضعة»، ويرى المؤلفون في ذلك علامة على أن الفوائد «تبدأ بالاستقرار حين يرصد النموذج أدلة كافية». المزيد من البيانات يفيد، ثم يستقر الأثر.
والثانية أن وكلاء المقابلات والاستبيانات قلّصوا «فوارق الدقة بين الفئات العرقية والأيديولوجية مقارنة بالوكلاء المبنيين على البيانات الديموغرافية فقط». وهذا يتسق مع أعمال أخرى. فقد بيّنت Angelina Wang (يفتح في علامة تبويب جديدة) وزملاؤها في Nature Machine Intelligence (يفتح في علامة تبويب جديدة) أن التوجيهات القائمة على الهوية تميل إلى تشويه صورة الفئات وتسطيحها. وربط الوكلاء بما قاله الناس فعلًا عن حياتهم يبدو إحدى طرق مقاومة ذلك.
من أين جاء دليل المقابلة
اتبعت المقابلات جدول مشروع American Voices Project (يفتح في علامة تبويب جديدة)، وهو دراسة قادها باحثون في Princeton (يفتح في علامة تبويب جديدة) وStanford وGeorgetown لبناء صور معمقة عن الحياة الأمريكية، تشمل الروتين اليومي والعلاقات والصحة والمال. وأضافت الورقة أيضًا إلى كل وكيل «تأملات الخبراء»: ملاحظات قصيرة يكتبها النموذج من منظور عالم نفس واقتصادي سلوكي وعالم سياسة وخبير ديموغرافيا، وتستخلص دلالات لم يذكرها الشخص صراحة.
نرى أن هذه فكرة جميلة. فهي تعني أن تطلب من عدة مختصين قراءة النص نفسه وإخبارك بما لاحظوه.
ماذا تقول أبحاث الشخصيات عن التصنيفات
وجدت دراسة منفصلة أجراها Tiancheng Hu وNigel Collier بعنوان Quantifying the Persona Effect in LLM Simulations (يفتح في علامة تبويب جديدة) أن متغيرات الشخصية الديموغرافية والاجتماعية والسلوكية فسّرت أقل من 10% من التباين في تعليقات المقيّمين من البشر عبر مجموعات البيانات الذاتية التي درسوها. وأعطت إضافة هذه المتغيرات إلى الموجّهات «تحسينات متواضعة لكنها ذات دلالة إحصائية.» والدرس متسق مع عمل Stanford: التصنيفات تفيد قليلًا، والظروف الواقعية تفيد أكثر.
مثال تطبيقي
تخيل مؤسِّسة تبني أداة رواتب لشركات مقاولات صغيرة. النسخة الأولى من جمهورها المحاكى هي «مدير موقع، ذكر، 45 عامًا، الرياض». والنسخة الثانية تضيف الظروف: يدير 30 عاملًا بعقود دورية، ويدفع جزءًا من الأجور نقدًا، وغُرّم العام الماضي بسبب تأخر في تقديم إقرار، ويراجع كل شيء على هاتفه بين زيارات المواقع.
ستنتج النسخة الثانية إجابات عن التعامل مع المدفوعات النقدية، والوصول عبر الجوال، والخوف من الغرامات. أما الأولى فستنتج في الغالب حماسًا عامًا لا تفاصيل فيه. في Cast يبحث وكيل الاختيار في السوق ليبني هذا النوع الثاني من الأشخاص، ويوسم كل مستخدم افتراضي بأنه مستخدم افتراضي، حتى لا يظن أحد أن النتيجة مقابلة حقيقية.
مسرد المصطلحات
اتساق الاختبار وإعادته: مدى تشابه إجابات الشخص عن الأسئلة نفسها في مناسبتين، وهنا بينهما أسبوعان. الدقة المعيارية: دقة الوكيل مقسومة على هذا الاتساق البشري، فالقيمة 1.0 تعني أن الوكيل يستشرف إجاباتك بالدقة التي تستشرف بها أنت إجاباتك. الاستبعاد التجريبي: حذف جزء من النظام لمعرفة مقدار أهميته. Big Five (يفتح في علامة تبويب جديدة): نموذج شائع الاستخدام لوصف الشخصية، يشمل الانفتاح على التجربة، ويقظة الضمير، والانبساط، والمقبولية، والعصابية.
أسئلة عن الوكلاء المبنيين على المقابلات
هل يحاكي Cast أفرادًا حقيقيين كما فعلت هذه الدراسة؟
لا. بُني وكلاء Stanford من مقابلات مع أشخاص حقيقيين وافقوا على المشاركة، وبضوابط وصول صارمة. أما Cast فيبني أشخاصًا خياليين من أبحاث منشورة عن سوقهم، ولا يحاكي أبدًا شخصًا حقيقيًا يمكن التعرف عليه.
لماذا لا نكتفي بالبيانات الديموغرافية؟ نسبة 74% تبدو جيدة.
هي جيدة، وهي خط أساس مفيد. لكن الفجوة التي تصل بها إلى ما بين 83 و86% هي التفاصيل التي تفسر لماذا يتخذ شخصان متشابهان قرارين مختلفين، وهذا ما تحتاج فرق المنتجات إلى فهمه.
أين أقرأ الورقة؟
الورقة الكاملة على arXiv عبر الرابط أعلاه، وقد نشر Stanford HAI ملخصًا مبسطًا لها.
هل أحتاج إلى مقابلة مدتها ساعتان لبناء مستخدم افتراضي جيد؟
لا. في دراسة Stanford، ظل الوكلاء المبنيون على 20% فقط من المقابلة، أو على ملخص نقطي للوقائع، أفضل من الوكلاء المبنيين على البيانات الديموغرافية وحدها. المهم هو المعلومات ذات الصلة بحياة الشخص، لا الطول لذاته.
هل تنبأ الوكلاء بنتائج التجارب كما تنبؤوا بإجابات الاستبيان؟
في خمس تجارب تكرار، ارتبطت أحجام الأثر لدى الوكلاء ارتباطًا عاليًا بأحجامها لدى المشاركين الحقيقيين، وإن كانت أكبر. ويشير المؤلفون إلى أن خمس دراسات عدد قليل جدًا لمقارنة أحجام الأثر مقارنة سليمة.
اقرأ تاليًا: مدينة الذكاء الاصطناعي التي أقامت حفلة عيد الحب.
