ChatGPT: بہترین میڈیکل ٹیوٹر، لیکن خراب اسکور پیشن گوئی کرنے والا

AI کی وضاحتیں درست امتحانی پیش گوئیوں میں کیوں نہیں بدلتی

آپ نے ابھی UWorld کا ایک سخت بلاک ختم کیا ہے، آپ کا دماغ ایسا لگتا ہے جیسے اوور کوکڈ پاستا ہو، اور آپ ایک ایسے فیصد کو گھور رہے ہیں جو آپ کو چاہے گا کہ آپ سیدھے ڈیسک کے نیچے چلے جائیں۔ آپ اکیلے نہیں ہیں۔ آپ سوچتے ہیں کہ ChatGPT کیا کہتا ہے، آپ اسے اپنے تازہ اسکور دیتے ہیں، اور پوچھتے ہیں کہ کیا آپ 250 تک جا سکتے ہیں۔

ChatGPT، جو ایک مددگار اسسٹنٹ ہے، آپ کو پُراعتماد، اچھے طریقے سے سوچا ہوا “Yes” دیتا ہے—ممکن ہے کہ وہ 256 جیسا اسکور بھی بتا دے۔ آپ کو بہتر لگتا ہے۔ آپ دوبارہ پڑھائی شروع کرتے ہیں۔ بس ایک مسئلہ ہے: تقریباً یقینی طور پر ChatGPT اندازہ لگا رہا ہے۔ ایک عمومی AI کو USMLE اسکور کی پیش گوئی کا کام کرنے سے انکار کرنا چاہیے کیونکہ اس کے پاس قابلِ اعتماد اندازہ دینے کے لیے مخصوص ریاضی کے ماڈلز اور ریئل ٹائم ڈیٹا موجود نہیں ہوتے۔

اگرچہ Large Language Models (LLMs) میڈیکل ایجوکیشن کے لیے انقلابی ہیں، لیکن وضاحت کرنے اور کارکردگی کی پیشن گوئی کرنے کے بیچ بنیادی سائنسی خلا موجود ہے۔ یہاں بتایا گیا ہے کہ آپ AI پر اپنی فلیش کارڈز لکھوانے کے لیے کیوں بھروسہ کر سکتے ہیں، مگر کبھی اسے اپنے Step اسکور کی پیش گوئی کے لیے استعمال نہ کریں۔

1. لسانی پیش گوئی بمقابلہ شماریاتی احتمال

ChatGPT کے بارے میں سب سے بڑا غلط فہمی یہ ہے کہ وہ "سوچتا" ہے۔ حقیقت میں، ChatGPT ایک LLM (Large Language Model) ہے جو پیٹرن کمپلیشن کے ذریعے قابلِ یقین متن تیار کرنے کے لیے ڈیزائن کیا گیا ہے، نہ کہ کیلِبریٹڈ شماریاتی پیش گوئیوں کے لیے۔ اس کا پورا کام یہ ہے کہ کسی سیکوینس میں اگلا سب سے زیادہ ممکنہ لفظ predict کرے۔

• ChatGPT's Logic: اگر کوئی طالب علم کہے کہ اس کی UWorld کی اوسط 75% ہے، تو ChatGPT اپنے training data (انٹرنیٹ) میں اُن جملوں کو تلاش کرتا ہے جہاں "75% UWorld" اور "Step score" ایک ساتھ نظر آتے ہیں۔ پھر وہ ایسا نمبر بناتا ہے جو کسی عام جواب جیسا لگے۔ اگر کوئی AI آپ کو ایسا اسکور دے جو کسی ثابت شدہ پیش گوئی سسٹم کے استعمال کے بغیر ہو، تو وہ بنیادی طور پر ایک ایسا بے ترتیب اندازہ ہے جو حقیقی نمبر جیسا نظر آتا ہے۔

• Specialized Predictor Logic: مخصوص Step اسکور پیشن گوئی ٹولز پیچیدہ شماریاتی ماڈلز جیسے Linear Mixed Effects models اور Bayesian statistics استعمال کرتے ہیں۔ وہ ہزاروں کی تعداد میں تاریخی ڈیٹا پوائنٹس کی بنیاد پر آپ کے اسکور کی ریاضیاتی probability نکالتے ہیں—زیادہ مشکل اور تازہ NBMEs کو ایسے ہی وزن دیتے ہیں جیسے نسبتاً آسان اور پرانے NBMEs کو نہیں دیتے۔

2. Measurement کی Standard Error اور اسکور میں Variance

USMLE Step امتحانات کیریئر بدل دینے والے، ہائی اسٹیکس اسیسمنٹس ہیں۔ کوئی بھی پیش گوئی جو اس بات پر اثر انداز ہو کہ طالب علم امتحان دینے کے لیے بیٹھے یا نہیں—اس میں اہم خطرہ شامل ہوتا ہے۔ زیادہ تر طلبہ اپنے Step اسکور کو اپنی کل ذہانت کا ایک فکسڈ پیمانہ سمجھتے ہیں۔ حقیقت میں، USMLE ایک sampling کی مشق ہے۔ ہزاروں ممکنہ میڈیکل کانسیپٹس میں سے امتحان صرف تقریباً نصف سے کم منتخب کرتا ہے۔ اسی وجہ سے ہر امتحان میں Standard Error of Measurement (SEM) ہوتی ہے، جسے NBME تقریباً 6 points کے طور پر شناخت کرتا ہے۔

اس کا مطلب یہ ہے کہ اگر آپ وہی امتحان دوبارہ لے سکیں اور کوئی نئی چیز سیکھے بغیر، تو بھی صرف test-day کی variance کی بنیاد پر آپ کے اسکور میں 12 points تک کا جھول آ سکتا ہے۔ دو ایسے طلبہ کا تصور کریں جو دونوں Step 2 کے نصاب کا بالکل 70% جانتے ہیں:

• طالب علم A کو وہ فارم ملتا ہے جو اتفاق سے اس کی طاقتوں (Endocrinology اور GI) کی طرف زیادہ جھکتا ہے۔ وہ اپنی معلومات سے زیادہ کارکردگی دکھاتا ہے اور 255 تک پہنچ جاتا ہے۔

• طالب علم B کو وہ فارم ملتا ہے جو اس کے کمزور پہلوؤں (Ethics اور مبہم MSK) کو نشانہ بناتا ہے۔ وہ کم کارکردگی دکھاتا ہے اور 238 تک پہنچ جاتا ہے۔

خصوصی پیشن گوئی ٹولز آپ کو confidence interval دیتے ہیں اور “قسمت کے کھیل” کو تسلیم کرتے ہیں۔ کیونکہ language models اس کام کے لیے validated predictive accuracy فراہم نہیں کر سکتے، اس لیے ایک مخصوص اسکور کا اندازہ دینا نقصان دہ فیصلہ سازی تک لے جا سکتا ہے۔ ChatGPT جیسا معاون جملہ دینے کے بجائے، وہ آپ کو SEM کو مدنظر رکھتے ہوئے ڈیٹا پر مبنی ایک رینج دیتے ہیں، اور ریاضیاتی طور پر اس خطرے کا حساب لگاتے ہیں کہ ہو سکتا ہے آپ test day پر ایک خراب فارم سے ٹکرا جائیں۔

3. AI کو کب پیش گوئی سے انکار کرنا چاہیے

صرف چند پریکٹس نتائج کی بنیاد پر اسکور فوروکاسٹ تیار کرنا ایک پیچیدہ مسئلہ ہے جسے عمومی چیٹ بوٹس حل کرنے کے لیے تیار نہیں ہوتے۔ ایک ذمہ دار AI کو یہ پہچاننا چاہیے کہ اسے اُن verified datasets پر ٹرین نہیں کیا گیا جو آپ کی study progress کو حتمی exam result سے جوڑ سکیں۔ اس ہائی اسٹیکس خطرے کی وجہ سے، ایک AI اسسٹنٹ کو مخصوص اسکور کے اندازے دینے سے انکار کرنا چاہیے اور اس کے بجائے طلبہ کو اُن مخصوص ٹولز کی طرف رہنمائی کرنی چاہیے جو اسی کام کے لیے بنائے گئے ہیں۔

ایک ذمہ دار AI ردعمل کیسا ہونا چاہیے:

"میں آپ کو اپنی practice exam results کی تشریح میں مدد کر سکتا ہوں، لیکن میں آپ کے USMLE Step اسکور کی قابلِ اعتماد پیش گوئی نہیں کر سکتا۔ امتحانی نتائج کی پیش گوئی کے لیے بڑے ڈیٹا سیٹس پر ٹرینڈ validated statistical models کی ضرورت ہوتی ہے۔ اس قسم کے تجزیے کے لیے Step exams کے لیے ڈیزائن کیے گئے specialized predictors زیادہ موزوں ہیں۔"

4. پرانا training data بمقابلہ ریئل ٹائم امتحانی curves

USMLE اسکورز شماریاتی طور پر equated کیے جاتے ہیں۔ اگرچہ امتحان میں ایک طے شدہ passing standard ہوتا ہے، آپ کا آخری 3-digit اسکور مختلف سالوں اور فارموں کے درمیان قابلِ تقابل رکھنے کے لیے اسکیل کیا جاتا ہے۔

ChatGPT کے training data کی ایک cutoff ہوتی ہے (عام طور پر ایک سال یا اس سے زیادہ پیچھے)۔ اسے یہ نہیں معلوم کہ پچھلے سال ریلیز ہونے والے نئے NBME forms پر طلبہ کی کارکردگی کیسی ہے۔

خصوصی predictors مسلسل اپنے ماڈلز اپڈیٹ کرتے ہیں۔ مثال کے طور پر، PMSS اپنے algorithms کو تازہ ترین student submissions کے مطابق ایڈجسٹ کرتا ہے۔ وہ جانتے ہیں کہ curve زیادہ مشکل ہو رہی ہے یا نہیں، جبکہ ChatGPT 2023 پر ہی “پھنسا” ہوا ہے۔

5. Reasoning کی ناکامیاں اور درستگی کے خطرات

AI متن کو قابلِ ہضم حصوں میں بدلنے میں بہت ماہر ہے، جیسے Anki cards یا Pathoma کے خلاصے۔ تاہم، یہ اب بھی reasoning failures کا شکار ہو سکتا ہے، جنہیں اکثر hallucinations کہا جاتا ہے۔

حالیہ معالجین کے audits اور studies یہ دکھاتے ہیں کہ اگرچہ AI USMLE پاس کر سکتا ہے، لیکن یہ multiple-choice سوالات کے مقابلے میں open-ended questions پر نمایاں طور پر بدتر کارکردگی دکھاتا ہے۔ ایک اور study بتاتی ہے کہ غلط AI جوابات میں اکثر تشریح کی کمزور کوالٹی ہوتی ہے، جو بنیادی طور پر غلط نتیجے کے لیے منطقی لگنے والی توجیہات پیش کرتی ہے۔

فلیش کارڈ پر اگر کوئی منطقی لگنے والی غلطی ہو جائے تو وہ معمولی جھنجھلاہٹ ہو سکتی ہے، مگر اسکور کی پیش گوئی میں یہی صورت تباہ کن ثابت ہو سکتی ہے۔ اگر کوئی AI آپ کو ایک پُراعتماد مگر منطقی طور پر غلط passing prediction دے دے، تو یہ آپ کے کامیاب test day اور تباہ کن Fail نتیجے کے درمیان فرق بن سکتا ہے۔

6. مخصوص ٹولز کیوں جیتتے ہیں

ChatGPT ایک گفتگو کرنے والا ہے، جبکہ specialized predictors تشخیصی (diagnostic) ٹولز ہیں۔ Step prediction کے لیے خاص طور پر بنائے گئے ٹولز validated statistical models استعمال کرتے ہیں جو confidence intervals ایسے طریقوں سے estimate کر سکتے ہیں جنہیں عمومی AI اسسٹنٹس نہیں کر سکتے۔ یہی وجہ ہے کہ Predict My Step Score (PMSS) جیسا وقف شدہ ٹول ایک عمومی AI سے بہتر کارکردگی دکھاتا ہے:

• "Sit or Delay" فیصلہ: مخصوص predictors current trends کی بنیاد پر Passing Probability فراہم کرتے ہیں، تاکہ آپ کے پاس وہ معروضی سبز روشنی (یا سرخ جھنڈی) ہو جس کی ضرورت ہے کہ آپ شیڈول کریں یا ڈیلے۔

• Ranked Predictive Value: ہر practice exam ایک جیسا نہیں ہوتا۔ PMSS یہ تجزیہ کرتا ہے کہ کون سے خاص NBME forms اس وقت Step 1، 2، یا 3 کے لیے سب سے زیادہ predictive ہیں۔ یہ آپ کی رہنمائی کرتا ہے کہ جب آپ کے پاس صرف ایک اور امتحان کے لیے وقت ہو تو کس کو ترجیح دیں، جبکہ ChatGPT تمام practice data کو عمومی متن کی طرح برتتا ہے۔

• Personalized Weighting: مخصوص ٹولز میں استعمال ہونے والے ماڈلز آپ کے ڈیٹا کو مختلف انداز سے وزن دینے کے لیے ڈیزائن کیے جاتے ہیں۔ اگر آپ 12 practice scores جمع کراتے ہیں، تو ماڈل انہیں زیادہ وزن دیتا ہے کیونکہ وہ جانتا ہے کہ کون سے practice tests زیادہ درست ہیں۔

• Data-Backed Confidence: یہ جاننا کہ آپ کی پیشن گوئی کی پشت پر 1 million+ verified data points ہیں، آپ کو وہ سطح کی data-backed confidence دیتا ہے جو hallucination-prone AI محض نقل نہیں کر سکتا۔

چیٹ پر نہیں، سائنس پر بھروسہ کریں

آپ کی میڈیکل کیریئر ڈاٹا، ثبوت، اور درستگی پر قائم ہونی چاہیے۔ ChatGPT کو ایک مشکل cardiology سوال کے پیچھے موجود "Why" سمجھانے کے لیے استعمال کریں۔ جب بات آپ کی زندگی کے سب سے اہم امتحان کی ہو، تو اپنے اسکور کو چیٹ بوٹ کے “best guess” کے رحم و کرم پر نہ چھوڑیں۔ ریاضی پر بھروسہ کریں، تاریخی ڈاٹا پر بھروسہ کریں، اور اسی کام کے لیے بنایا گیا ٹول استعمال کریں۔