ہم نے AI ماڈلز سے کہا اسے توڑ کر دیکھیں۔
فریم ورک کھولنے سے پہلے ہم نے ڈیزائن کو قابل AI ماڈلز کے ساتھ کئی راؤنڈز کی مخالفتی جانچ سے گزارا، ہر ایک سے کہا گیا کہ خامیاں ڈھونڈے۔ یہ ہے جو انہوں نے پایا، اور ہم نے کیسے جواب دیا۔
تین آزاد AI جائزے، ایک خطرے کی فہرست۔
ہم نے ڈیزائن تین قابل AI ماڈلز کے سامنے رکھا — کئی راؤنڈز میں، ہر ایک کو منظوری دینے کے بجائے توڑنے کی کوشش کرنے کا کہا۔ مفید حیرت یہ تھی کہ تینوں ایک ہی مختصر خطرات کی فہرست پر آ گئے — اور وہی فہرست وہ مفروضے بنے جو ہماری پہلی pre-registration میں شامل ہیں۔ فریم ورک کو اپنے کمزور مقامات کا پتا تھا۔
جب ہم نے ان کی تیز ترین تجاویز شامل کر لیں، تینوں نے نظرثانی شدہ منصوبہ دیکھا اور ایک ہی فیصلے پر پہنچے: ایک مضبوط، ایماندار، رجسٹر ہونے کے قابل تحقیقی پروگرام — ڈیٹا سے پہلے، مگر رجسٹر ہونے اور کھلنے کے لیے تیار۔ ان میں سے ایک نے اچھی بات کہی — منصوبہ ایک ایسا پروجیکٹ بن گیا تھا جو "یہ دریافت کرنے کو تیار ہو کہ شاید وہ غلط ہو۔"
جو خامیاں انہوں نے پائیں، اور ہمارے جوابات۔
“یہ ڈھانچہ ایک خوبصورتی سے سوچا سمجھا نقشہ ہے، ابھی تک دریافت کیا ہوا نہیں۔ کئی تفریقیں تجربے میں سچ لگ سکتی ہیں، مگر حقیقی آبادی میں الگ الگ کھڑی نہ ہو پائیں۔”
ہمارا جوابمتفق — اور یہی وہ مرکزی بات تھی جسے پلان جانچنے کے لیے بنایا گیا ہے۔ وزن ایک مفروضہ ہیں، کوئی ایسا موقف نہیں جس کا دفاع کرنا ہو۔ ہم نے لکھ کر عہد کیا ہے کہ اگر ڈیٹا کہے تو نمونوں کو بڑے پیمانے پر ملائیں گے، جگہ بدلیں گے، اور ہٹا دیں گے۔
“اگر عوامل کا تجزیہ گیارہ سے کم گروہ نکالے، تو آپ بس اُسے «متوقع» کہہ دیں گے — جس سے ماڈل کو غلط ثابت کرنا ناممکن ہو جاتا ہے۔”
ہمارا جوابدرست بات۔ تو ہم نے بالکل واضح کر دیا کہ کیا چیز اِسے غلط ثابت کرے گی: صرف «کم گروہ» نہیں، بلکہ ایک مخصوص پیشبینی شدہ ترتیب — کون سے نمونے کس کے پہلو میں بیٹھتے ہیں، تقسیم کی لکیریں کہاں گرتی ہیں۔ اگر تجربے سے نکلا نقشہ اُس سے نہ ملے جو ہم نے پہلے سے کھینچا تھا، تو نظریہ غلط ہے، اور ہم اِسے غلط ہی بتائیں گے۔
“پہچان — «لوگ اپنے آپ کو اِس میں دیکھتے ہیں» — دنیا کی سب سے آسان چیز ہے جو بناوٹی ہو سکتی ہے۔ خوشامد بھری تفصیل پر ہر کوئی سر ہلاتا ہے۔”
ہمارا جوابیہ سب سے تیز خطرہ ہے، اس لیے اسے سب سے زیادہ تصدیقی محنت ملتی ہے۔ پہچان کو ایک خوشنما عمومی کنٹرول کے مقابل ناپا جاتا ہے: حقیقی تفصیل کو عمومی سے بہتر پہچانا جانا چاہیے، اور اجنبیوں کو شخص کو درست آرکیٹائپ میں موقع سے بہتر چھانٹنا چاہیے۔ اگر جوڑا اس میں ناکام رہے تو ضم ہو جاتا ہے — کوئی استثنا نہیں۔
“وہ نتیجہ نام بتاؤ جس سے کوئی نمونہ واقعی غائب ہو جائے۔ اگر نہیں بتا سکتے، تو یہ درجہ بندی بچانا ہے، تحقیق نہیں۔”
ہمارا جوابہم نے تین نام رکھے: جگہ بدلنا (یہ کسی اور ستون سے تعلق رکھتا ہے)، ملانا (دو کردار، اندر سے ایک ہی چیز)، اور ہٹانا (اپنی بنیاد پر ناکام رہتا ہے اور باقیوں سے بڑھ کر کچھ نہیں دیتا)۔ ہر ایک کی شرط پہلے سے طے ہے۔
“کیا نمونہ باقی رہتا ہے جب Big Five شخصیت کی خصلتوں کو کنٹرول کر لیا جائے؟”
ہمارا جوابخود سوال پر ایک دوستانہ اصلاح: Big Five ایک پیمانہ ہے، حقیقت کی بنیاد نہیں۔ ہم پورے ناپے جانے والے منظر کے خلاف جانچتے ہیں — خصلتیں، حساسیت، وابستگی، زندگی کے نتائج۔ جو فرق Big Five پر شخصیت کا جڑواں لگے مگر حساسیت یا نتائج پر مختلف ہو، اُس نے کہیں ایسی جگہ پاؤں جمائے ہیں جہاں Big Five نہیں دیکھ سکتا — اور ہم اُسے رکھتے ہیں۔
“تیز تین سوال والا ورژن کمزور ہے۔ چند سوالات پر پُر اعتماد نتیجہ نہیں بن سکتا۔”
ہمارا جوابدرست، اور یہ تیز خاکہ بننا مقصود ہے، آخری بات نہیں — ہر نتیجے کے ساتھ نوٹ ہوتا ہے کہ گہرائی میں جاتے ہوئے یہ نکھرتا جاتا ہے۔ ہم نے وہ سوالات ہٹا دیے جو تصویر دھندلا رہے تھے، اور AI جائزوں نے اِسے درست ساختی فیصلہ مانا۔
اس قسم کا جائزہ کیا ہے، اور کیا نہیں۔
یہ AI جائزے تھے، ہم مرتبہ جائزہ نہیں۔ تیز، سخت، مخالفانہ پہلا پاس — قابل AI ماڈل استدلال توڑنے کی کوشش کرتے ہوئے — اور یہ ماہر انسانی جائزے کا متبادل نہیں، اور سب سے بڑھ کر ڈیٹا کا متبادل نہیں۔ یہ بتاتے ہیں کہ ڈیزائن جڑا ہوا ہے اور اپنی خالی جگہوں کے بارے میں ایماندار ہے۔ یہ نہیں بتا سکتے کہ فریم ورک سچ ہے۔ صرف مرحلہ وار تصدیق اِس کی شروعات کر سکتی ہے، اور وہ ابھی بمشکل شروع ہوئی ہے۔
ہم یہ جائزے اِس لیے شائع کر رہے ہیں کہ شفافیت ہی اصل بات ہے: ڈیزائن بھی، اور اُس کا سخت تنقیدی جائزہ بھی — دونوں کھلے عام، خامیوں سمیت۔