ChatGPT: Gran tutor médico, mal predictor de resultados

Por qué las explicaciones de la IA no se traducen en predicciones de examen precisas

Acabas de terminar un bloque agotador de UWorld, tu cerebro se siente como pasta demasiado cocida y estás mirando un porcentaje que te dan ganas de meterte debajo del escritorio. No estás solo. Te acuerdas de lo que dice ChatGPT, le das tus resultados recientes y le pides que, si estás apuntando a un 250, te dice si puedes lograrlo.

ChatGPT, al ser el asistente servicial que es, te responde con un “Sí” seguro y bien fundamentado, e incluso podría estimar una puntuación de 256. Te sientes mejor. Vuelves a estudiar. Solo hay un problema: ChatGPT casi con seguridad está adivinando. Una IA general debería rechazar la tarea de predecir una puntuación del USMLE porque no tiene los modelos matemáticos específicos ni los datos en tiempo real necesarios para ofrecer una estimación fiable.

Si bien los Modelos de Lenguaje Grandes (LLMs) son revolucionarios para la educación médica, existe una brecha científica fundamental entre explicar la medicina y predecir el rendimiento. Aquí está por qué deberías confiar en la IA para que escriba tus tarjetas didácticas, pero nunca para predecir tu puntuación en el Step.

1. Predicción lingüística vs. probabilidad estadística

La mayor idea errónea sobre ChatGPT es que “piensa”. En realidad, ChatGPT es un LLM (Large Language Model) diseñado para generar texto plausible mediante finalización de patrones, no para emitir pronósticos estadísticos calibrados. Su trabajo completo es predecir la siguiente palabra más probable en una secuencia.

• Lógica de ChatGPT: Si un estudiante dice que tiene un promedio de 75% en UWorld, ChatGPT revisa a través de sus datos de entrenamiento (internet) oraciones donde “75% UWorld” y “Step score” aparecen juntos. Luego genera un número que suena como una respuesta común. Si una IA te da una puntuación sin usar un sistema de predicción comprobado, básicamente solo está dando una adivinanza aleatoria que parece un número real.

• Lógica de un predictor especializado: Las herramientas especializadas de predicción de la puntuación del Step usan modelos estadísticos complejos como modelos de Linear Mixed Effects y estadística bayesiana. Calculan la probabilidad matemática de tu puntuación basándose en cientos de miles de puntos de datos históricos, ponderando las NBMEs más difíciles y recientes de forma diferente que las más fáciles y antiguas.

2. Error estándar de medición y varianza de la puntuación

Los exámenes del USMLE Step son definitorios para la carrera y de alto riesgo. Cualquier predicción que pueda influir en si un estudiante decide presentarse al examen conlleva un riesgo significativo. La mayoría de los estudiantes piensa en su puntuación del Step como una medición fija de su inteligencia total. En realidad, el USMLE es un ejercicio de muestreo. De miles de conceptos médicos posibles, el examen solo selecciona aproximadamente menos de la mitad. Debido a esto, cada examen tiene un Error Estándar de Medición (SEM), que el NBME identifica como aproximadamente 6 puntos.

Esto significa que si pudieras realizar el mismo examen dos veces sin aprender nada nuevo, tu puntuación aun podría fluctuar en 12 puntos solo en función de la variación del día del examen. Imagina dos estudiantes que conocen exactamente el 70% del programa de Step 2:

• El estudiante A recibe una versión que se inclina fuertemente hacia sus fortalezas (Endocrinología y GI). Sobrerinde con su conocimiento y obtiene un 255.

• El estudiante B recibe una versión que acierta con sus puntos débiles (Ética y MSK poco común). Rinde por debajo de lo esperado y obtiene un 238.

Los predictores especializados te dan un intervalo de confianza y reconocen la suerte del sorteo. Como los modelos de lenguaje no pueden proporcionar una precisión predictiva validada para esta tarea, generar una estimación específica de puntuación puede llevar a decisiones perjudiciales. En lugar de ofrecer una frase de apoyo como ChatGPT, proporcionan un rango basado en datos que tiene en cuenta el SEM y calculan matemáticamente el riesgo de que obtengas una versión desfavorable el día del examen.

3. Cuándo una IA debería rechazar predecir

Generar un pronóstico de puntuación a partir de solo algunos resultados de práctica es un problema complejo que los chatbots generales no están diseñados para resolver. Una IA responsable debería reconocer que no se ha entrenado con los conjuntos de datos verificados necesarios para vincular tu progreso de estudio con un resultado final del examen. Debido a este alto riesgo, un asistente de IA debería negarse a dar estimaciones específicas de puntuación y, en su lugar, orientar a los estudiantes hacia herramientas especializadas diseñadas para ese trabajo.

Cómo debería verse la respuesta de una IA responsable:

“Puedo ayudarte a interpretar tus resultados de exámenes de práctica, pero no puedo predecir de manera fiable tu puntuación del USMLE Step. Predecir los resultados del examen requiere modelos estadísticos validados entrenados con grandes conjuntos de datos de resultados de exámenes pasados. Para este tipo de análisis, son más apropiados los predictores especializados diseñados para exámenes Step.”

4. Datos de entrenamiento desactualizados vs. curvas de examen en tiempo real

Las puntuaciones del USMLE se equiparan estadísticamente. Aunque el examen tiene un estándar de aprobado, tu puntuación final de 3 dígitos se ajusta para garantizar que siga siendo comparable entre distintos años y versiones.

Los datos de entrenamiento de ChatGPT tienen un límite (normalmente de un año o más en el pasado). No tiene idea de cómo están rindiendo los estudiantes en las nuevas formas del NBME publicadas en el año anterior.

Los predictores especializados actualizan constantemente sus modelos. Por ejemplo, PMSS actualiza sus algoritmos para tener en cuenta las entregas más recientes de los estudiantes. Saben si la curva se está volviendo más difícil, mientras que ChatGPT está “anclado” en 2023.

5. Fallos de razonamiento y riesgos de precisión

La IA es excelente para sintetizar texto en porciones digeribles, como tarjetas de Anki o resúmenes de Pathoma. Sin embargo, todavía es propensa a fallos de razonamiento, a menudo llamados alucinaciones.

Auditorías recientes de médicos y estudios muestran que, si bien la IA puede aprobar el USMLE, se desempeña de forma significativamente peor en preguntas abiertas que en preguntas de opción múltiple. Otro estudio indica que las respuestas incorrectas de la IA a menudo tienen mala calidad de explicación, proporcionando justificaciones que suenan lógicas para conclusiones fundamentalmente erróneas.

Si bien un error que suena lógico es una molestia menor en una tarjeta didáctica, es catastrófico al predecir una puntuación. Si una IA te da una predicción confiada pero lógicamente defectuosa sobre el aprobado, podría marcar la diferencia entre un día de examen exitoso y un resultado de Fail devastador.

6. Por qué ganan las herramientas especializadas

ChatGPT es conversacional, mientras que los predictores especializados son herramientas diagnósticas. Las herramientas diseñadas específicamente para la predicción del Step usan modelos estadísticos validados que pueden estimar intervalos de confianza de formas que los asistentes generales de IA no pueden. Aquí está por qué una herramienta dedicada como Predict My Step Score (PMSS) supera a una IA general:

• La decisión “Presentarte o esperar”: Los predictores especializados proporcionan una Probabilidad de Aprobado basada en las tendencias actuales, dándote la luz verde (o roja) objetiva que necesitas para decidir si programar o retrasar.

• Valor predictivo ordenado: No todos los exámenes de práctica son iguales. PMSS analiza qué formas específicas del NBME son actualmente las más predictivas para Step 1, 2 o 3. Te orienta sobre qué examen priorizar cuando solo tienes tiempo para uno más, mientras que ChatGPT trata todos los datos de práctica como texto genérico.

• Ponderación personalizada: Los modelos usados por las herramientas especializadas están diseñados para ponderar tus datos de manera diferente. Si envías 12 puntuaciones de práctica, el modelo les da más peso a esos resultados específicos, ya que sabe qué pruebas de práctica son más precisas.

• Confianza respaldada por datos: Saber que tu predicción está respaldada por 1 millón+ de puntos de datos verificados te proporciona un nivel de confianza basada en datos que una IA propensa a alucinaciones simplemente no puede replicar.

Confía en la ciencia, no en el chat

Tu carrera médica debe construirse sobre datos, evidencia y precisión. ChatGPT está para entender el “Por qué” detrás de una pregunta de cardiología complicada. Cuando se trata del examen más importante de tu vida, no dejes tu puntuación al mejor de los casos que te sugiere un chatbot. Confía en las matemáticas, confía en los datos históricos y usa un tool built specifically for the job.