Los LLMs no saben lo que no saben: un estudio con datos clínicos que te va a dejar tieso

Mira, llevamos un tiempo escuchando que los modelos de lenguaje (LLMs) son la leche para todo: desde escribir poemas hasta diagnosticar enfermedades. Pero, ¿qué pasa cuando les preguntas algo que no tienen ni idea? Pues que te sueltan una respuesta con la misma seguridad que un político en campaña, aunque sea puro humo. Un estudio del arXiv, con un título que parece sacado de un acertijo filosófico, se ha puesto a investigar esto mismo, pero con datos clínicos de verdad, de esos que van en tablas y que si te equivocas, la lías parda.

El rollo es el siguiente: han comparado dos modelos, Qwen 2.5 7B y XGBoost, en una tarea de predicción clínica. Y la clave está en la 'divergencia de atribución', que viene a ser como medir cuándo un modelo está improvisando porque no tiene ni puta idea de lo que le estás preguntando. Porque resulta que los LLMs, por muy grandes que sean, tienen puntos ciegos epistemológicos, que es una forma fina de decir que no saben lo que no saben.

Y aquí viene lo gordo: el estudio sugiere que, comparando cómo dos modelos distintos atribuyen importancia a las variables de los datos, se puede detectar cuándo el LLM está alucinando. Es decir, si el LLM y el XGBoost no se ponen de acuerdo en qué es relevante para predecir algo, igual el LLM está vendiendo motos. Esto es clave en entornos como los hospitales, donde un error de predicción puede tener consecuencias de cojones.

Lo que me flipa es que, con la de pasta que se están gastando en entrenar modelos cada vez más grandes, todavía no sepamos si se pueden fiar de ellos para algo tan serio como la medicina. Pero bueno, al menos ya hay gente pensando en cómo ponerles límites. Porque, seamos sinceros, un modelo que no sabe reconocer su ignorancia es como un médico que te receta sin hacerte preguntas: peligroso.

Segun ha adelantado el medio arXiv AI.