طلبنا من نماذج الذكاء الاصطناعي أن تكسره.
قبل فتح الإطار، مرّرنا التصميم بعدة جولات مراجعة خصومية مع نماذج ذكاء اصطناعي قادرة، وطُلب من كل منها إيجاد الثغرات. إليك ما وجدوه، وكيف أجبنا.
ثلاث مراجعات مستقلة بالذكاء الاصطناعي، وقائمة مخاطر واحدة.
عرضنا التصميم على ثلاثة نماذج ذكاء اصطناعي قادرة — عبر عدة جولات، كل منها موجّه لمحاولة كسره لا الموافقة عليه. المفاجأة المفيدة أن الثلاثة اجتمعت على نفس القائمة القصيرة من المخاطر — وتبيّن أن تلك القائمة هي مجموعة الفرضيات التي تغذي تسجيلنا المسبق الأول. الإطار عرف أين نقاط ضعفه.
بعد أن أدرجنا أحدّ اقتراحاتهم، راجع الثلاثة الخطة المنقّحة ووصلوا إلى الحكم نفسه: برنامج بحث سليم وصادق وقابل للتسجيل — قبل البيانات، لكنه جاهز للتسجيل والانفتاح. أحدهم عبّر جيداً — أصبحت الخطة مشروعاً «مستعداً لاكتشاف أنه قد يكون مخطئاً.»
الثغرات التي وجدوها، وإجاباتنا.
“البنية خريطة مُحكمة الاستدلال، وليست بعدُ خريطة مُكتشَفة. قد تكون عدة من التمييزات حقيقية في التجربة لكنها غير قابلة للفصل في مجتمع حقيقي.”
إجابتنامتفقون — وهذا أصلاً الأمر المركزي الذي تخطط الخطة لاختباره. الأوزان فرضية، لا موقف ندافع عنه. التزمنا كتابةً بدمج الأنماط الأولية ونقلها وإسقاطها بشكل جوهري إن قالت البيانات ذلك.
“إن استعاد تحليل العوامل أقل من إحدى عشرة مجموعة، ستسمّون ذلك ببساطة «متوقّعاً» — ما يجعل النموذج مستحيل التفنيد.”
إجابتنامنصف. لذا حدّدنا بالضبط ما يفنّده: ليس مجرّد «مجموعات أقل»، بل ترتيب متوقَّع محدد — أي الأنماط الأولية تجاور أيها، وأين تقع خطوط الفصل. إن لم تطابق الخريطة التجريبية ما رسمناه مسبقاً، فالنظرية خاطئة، ونُبلغ عنها كذلك.
“التعرّف — «الناس يرون أنفسهم فيه» — أسهل شيء في العالم يُزيَّف. الجميع يومئ لوصف مُجامِل.”
إجابتناهذا أحدّ المخاطر، لذا ينال أكبر جهد للتحقق. يُقاس التعرّف مقابل وصف عام مجامل: يجب أن يُتعرّف على الوصف الحقيقي أفضل من العام، وعلى الغرباء أن يصنّفوا الشخص إلى النمط الصحيح أفضل من الصدفة. إن فشل زوج في ذلك، يُدمجان — بلا استثناءات.
“سمّوا النتيجة التي تجعل نمطاً أولياً يختفي فعلاً. إن لم تستطيعوا، فهذا حفظ تصنيف لا بحث.”
إجابتناسمّينا ثلاثاً: النقل (ينتمي إلى ركيزة أخرى)، والدمج (دوران، شيء واحد كامن)، والإسقاط (يفشل بشروطه ولا يضيف شيئاً فوق الآخرين). ولكلٍّ شرط محدد مسبقاً.
“هل يصمد نمط أولي بعد التحكم في سمات الشخصية Big Five؟”
إجابتناتصحيح ودّي للسؤال نفسه: Big Five مقياس واحد، لا أساس الواقع. نختبر مقابل الصورة القابلة للقياس كاملة — السمات، والحساسية، والتعلق، ونتائج الحياة. التمييز الذي يبدو توأم شخصية على Big Five لكنه يختلف في الحساسية أو النتائج قد وجد موطئ قدمه حيث لا يراه Big Five، ونحن نبقيه.
“النسخة السريعة بثلاثة بنود رقيقة. بضعة بنود لا تحمل نتيجة واثقة.”
إجابتناصحيح، وهي مقصودة كرسم سريع لا كلمة أخيرة — كل نتيجة تحمل ملاحظة بأنها تتضح كلما تعمّقت. أزلنا البنود التي شوّشت الصورة، وهو ما أشادت به مراجعات الذكاء الاصطناعي كقرار هيكلي صائب.
ما هذا النوع من المراجعة، وما ليس هو.
كانت هذه مراجعات ذكاء اصطناعي، لا مراجعة أقران. إنها مرور أول سريع ومتطلب وخصومي — نماذج ذكاء اصطناعي قادرة تحاول كسر المنطق — وليست بديلاً عن مراجعة خبراء بشر، وفوق كل شيء عن البيانات. تخبرنا أن التصميم متماسك وصادق بشأن فجواته. لا يمكنها أن تخبرنا أن الإطار صحيح. وحده التحقق المرحلي يبدأ بذلك، وهو بالكاد قد بدأ.
ننشر المراجعات لأن الشفافية هي الهدف: التصميم والتقييم النقدي له، كلاهما علني، بما في ذلك الثغرات.