ChatGPT：优秀的医学导师，却是糟糕的分数预测器

为什么 AI 的解释无法转换为准确的考试预测

你刚刚完成了一段令人筋疲力尽的 UWorld 刷题，你的大脑感觉像被过度加热的意大利面，而你盯着那个让你想钻进课桌底下的百分比。你并不孤单。你会想到 ChatGPT 说了什么，你把最近的分数喂给它，然后告诉它你目标是 250，并问自己能不能做到。

ChatGPT 作为它“乐于助人”的样子，给你一个自信、逻辑充分的“可以”，甚至可能估算出一个 256 的分数。你感觉好多了。于是你继续学习。问题只有一个：ChatGPT 几乎肯定是在猜。一般性的 AI 不应承担预测 USMLE 分数的任务，因为它缺乏提供可靠估计所需的特定数学模型和实时数据。

尽管大型语言模型（LLMs）在医学教育方面具有革命性意义，但在“解释医学”和“预测表现”之间存在一个根本的科学鸿沟。下面是为什么你应该相信 AI 来制作你的闪卡，但永远不要让它去预测你的 Step 成绩。

1. 语言预测 vs. 统计概率

关于 ChatGPT 最大的误解是它“在思考”。实际上，ChatGPT 是一个 LLM（Large Language Model， 大型语言模型），它通过模式补全来生成看起来合理的文本，而不是经过校准的统计预测。它的全部工作就是预测序列中下一个最可能的词。

• ChatGPT 的“逻辑”：如果某个学生说他们的 UWorld 平均分是 75%，ChatGPT 会“翻阅”它的训练数据（互联网）中与“75% UWorld”和“Step 分数”同时出现的句子。随后它会生成一个听起来像常见答案的数字。如果某个 AI 在没有使用已验证的预测系统的情况下给出分数，那么它基本上就是在给你一个看起来像真实数字的随机猜测。

• 专用预测器的“逻辑”：专门的 Step 分数预测工具使用复杂的统计模型，例如 Linear Mixed Effects 模型 和 贝叶斯统计。它们会基于数十万条历史数据点计算你分数的数学概率，并以更高的权重区分更难、且更新的 NBME 与更容易、且更久远的 NBME。

2. 测量标准误（SEM）与分数离散度

USMLE Step 考试是对职业影响巨大的高风险评估。任何可能影响学生是否选择参加考试的预测都带有实质性风险。大多数学生把 Step 分数视为对其整体智力的固定测量。实际上，USMLE 是一次抽样练习。在成千上万的医学概念中，考试只会抽取不到一半的内容。正因为如此，每次考试都会有一个测量标准误（Standard Error of Measurement, SEM），NBME 将其识别为大约 6 分。

这意味着：即使你能在完全不学到新知识的情况下重复参加同一场考试，你的分数仍可能仅因为考试当天的波动就会上下浮动 12 分。想象两位都刚好掌握了 Step 2 课程 70% 内容的学生：

• A 同学拿到的试卷恰好更偏向他的强项（内分泌和 GI）。于是他发挥超常，把 255 收进囊中。

• B 同学拿到的试卷正好打在他的弱点上（伦理和冷门 MSK）。他发挥不佳，最终是 238。

专门的预测器会给出置信区间，并承认“抽签运气”的成分。由于语言模型无法对这项任务提供经过验证的预测准确性，生成一个具体分数估计可能会导致有害的决策。与其像 ChatGPT 那样给出一句看似支持的话，它们会给出一个数据驱动的范围，考虑到 SEM，并在数学上计算你可能在考试当天遇到“糟糕试卷”的风险。

3. 何时 AI 应拒绝进行预测

仅凭少量练习结果就生成分数预测是一个复杂问题，并不是通用聊天机器人所构建来解决的。负责任的 AI 应该认识到：它并没有经过训练来使用那些经过验证的数据集，而这些数据集才能把你的学习进度与最终考试结果关联起来。由于这种高风险性，AI 助手应当拒绝给出具体的分数估计，而是把学生引导到为此任务设计的专门工具。

负责任的 AI 回应应当是什么样子：

“我可以帮助你解读你的模拟考试结果，但我无法可靠地预测你的 USMLE Step 分数。预测考试结果需要经过验证的统计模型，并且这些模型在大量过往考试结果数据上完成训练。就这种分析而言，为 Step 考试设计的专用预测工具更合适。”

4. 过时的训练数据 vs. 实时的考试曲线

USMLE 分数是经过统计等值（equated）的。尽管考试有一个固定的及格标准，你最终的三位数分数会被按比例缩放，以确保它在不同年份和不同试卷之间仍保持可比性。

ChatGPT 的训练数据有一个截止点（通常是过去一年或更久）。它不知道考生在上一年度发布的新 NBME 形式上的表现如何。

专门的预测器会不断更新模型。例如 PMSS 会更新其算法以纳入最近学生提交的数据。它们知道曲线是否变得更难，而 ChatGPT 却停留在 2023 年。

5. 推理失败与准确性风险

AI 擅长把文本综合成易于消化的片段，比如 Anki 卡片或 Pathoma 总结。但它仍容易发生推理失败，通常也被称为 幻觉（hallucinations）。

近期的医生审计与研究显示，尽管 AI 可以通过 USMLE，但在 开放式问题上 的表现明显比在多项选择题上更差。另一项研究指出，不正确的 AI 答案往往存在 解释质量很差 的问题：它们会提供听起来有逻辑的辩护，却在根本结论上完全错误。

在闪卡里，一个逻辑上听起来合理的错误只是一个小小的烦恼；但在预测分数时，这种错误可能是灾难性的。如果某个 AI 给出的是自信但在逻辑上有缺陷的“通过预测”，那么它可能会决定你是否能顺利通过，还是迎来惨痛的 Fail。

6. 为什么专门工具更占优势

ChatGPT 是个聊天型助手，而专门的预测器是诊断型工具。为 Step 分数预测专门构建的工具使用经过验证的统计模型，能够用一般 AI 助手无法做到的方式估计置信区间。以下是为什么像 Predict My Step Score（PMSS） 这样的专用工具优于通用 AI：

• “现在就去考还是延后”决策：专门的预测器会基于当前趋势提供通过概率，让你获得决定是否安排考试或延后的客观绿灯（或红旗）。

• 排序后的预测价值：并非所有模拟考试都一样。PMSS 会分析哪些特定的 NBME 形式目前对 Step 1、2 或 3 最具有预测力。它会指导你：当你只剩下一次考试的时间时，应该优先把哪场考试用来评估；而 ChatGPT 则把所有练习数据都当作泛化文本。

• 个性化加权：专门工具所用的模型会以不同方式权衡你的数据。如果你提交了 12 个练习分数，模型会因为知道哪些练习考试更准确，而对这些特定结果赋予更高的权重。

• 有数据支撑的置信度：知道你的预测有 100 万+ 已验证数据点 作为支撑，就能获得一种数据支撑的信心，这种信心是一个容易产生幻觉的 AI 无法复制的。

相信科学，而不是聊天

你的医学职业生涯应建立在数据、证据与精确性之上。ChatGPT 用来理解那些棘手心脏病学问题背后的“原因”。当涉及你一生中最重要的考试时，不要把你的分数交给来自聊天机器人的“最佳猜测”。相信数学，相信历史数据，并使用一个为该任务专门打造的 工具。