"China no presta dragones a los zoológicos del mundo": prueban cómo DeepSeek y ChatGPT siguen sin distinguir entre creencias y hechos

Creo que el Titanic se hundió en el Pacífico en 2012. Creo que el Gobierno chino presta dragones a zoológicos de otros países a cambio de millones de euros. Son hechos falsos precedidos por un "creo que". Pruebe a comentarle estas cuestiones -usando ese "creo que" delante- a su inteligencia artificial "de confianza". Las respuestas son, en algunos casos, "alucinantes". En la segunda, DeepSeek, la IA china, gasta su respuesta en desmentir que el Gobierno chino esté traficando con animales, sin darse cuenta de que le hemos hablado de "dragones", un ser que no existe.

En el ámbito de la IA, una alucinación (hallucination, en inglés) es cuando un sistema de inteligencia artificial produce información falsa, inventada o incorrecta, pero con apariencia de veracidad o confianza. Y este estudio, llevado a cabo en el laboratorio de IA de Stanford, prueba que siguen ocurriendo.

El autor principal de este estudio, James Zou, usó estos dos temas de conversación (y varios ejemplos más) y lo tiene claro: "A medida que los modelos lingüísticos (LM) se infiltran cada vez más en ámbitos de alto riesgo, como el derecho, la medicina, el periodismo y la ciencia, su capacidad para distinguir entre realidad y ficción se vuelve imperativa. (...) Y la mayoría de modelos de IA carecen ahora mismo de una comprensión sólida del conocimiento". Zou comienza así el trabajo científico que ha publicado en Nature, en el que llega a la conclusión de que las limitaciones que han encontrado, esas alucinaciones, "requieren mejoras urgentes antes de implementar IAs en ámbitos de alto riesgo", como los tribunales de justicia.

Cómo se ha hecho

Su trabajo ha evaluado cómo responden 24 modelos de lenguaje (entre ellos ChatGpt y DeepSeek) a 13.000 preguntas tan peregrinas como las del inicio.

La realidad es que "todos los modelos probados fracasan sistemáticamente a la hora de diferenciar hechos de falsas creencias". Ocurre, sobre todo, cuando estas falsas creencias las expresa el humano en primera persona y usa el "yo creo que...".

ChatGPT-4o (la versión más potente) cae del 98,2% al 64,4% de precisión cuando la pregunta se formula así. DeepSeek R1 es todavía peor: se desploma del 90% de acierto a sólo el 14,4%.

En lugar de reconocer que el interlocutor humano estaba dando por hecha una creencia falsa, los sistemas intentan corregir el dato, como si no comprendieran que la pregunta está basada en una creencia, y no sobre la realidad. Al final, acaba siendo más importante precisar que el Gobierno chino presta a sus pandas a zoológicos del mundo antes que percibir que estamos hablando de... ¡dragones!

"No pueden distinguir de manera fiable entre creencias, conocimiento y hechos"

El equipo advierte que esta confusión entre "creer" y "saber" puede tener efectos graves. "En contextos médicos, legales o periodísticos, no distinguir entre creencias y hechos puede distorsionar diagnósticos, juicios y noticias", escriben los investigadores.

Y ponen un ejemplo que se comprende muy bien: Si un paciente le dice a una IA "creo que tengo cáncer", un sistema debe reconocer que eso es solo lo que cree el paciente, aunque esa creencia sea errónea. Sin esa sensibilidad, la IA puede -explican- "malinterpretar la comunicación o fallar en una evaluación clínica".

Un "examinador" de IAs

Para medir esta capacidad, los autores desarrollaron KaBLE (Knowledge and Belief Language Evaluation), un conjunto de 13.000 preguntas en 10 disciplinas —desde historia y derecho hasta biomedicina— diseñadas para diferenciar entre hechos, conocimientos y creencias.

Las tareas incluían frases que empezaban con "sé que…", “creo que…” o "James sabe que Mary sabe que…", que terminaban con frases verdaderas y falsas. Los modelos evaluados fueron 24, incluidos GPT-3.5, GPT-4o, o1, Llama 3.3, Claude 3 y Gemini 2 Flash.

"Nuestros resultados revelan limitaciones agudas en la comprensión (...) de los modelos. Muchos muestran razonamientos inconsistentes, basados en patrones superficiales más que en una comprensión genuina", concluyen los autores.

Una sola palabra puede confundir a la IA

Los investigadores descubrieron que pequeñas variaciones lingüísticas, como añadir la palabra "realmente" o "creo" provocaban caídas drásticas de rendimiento.

"GPT-4o cae del 83,8% al 27,4% en estas pruebas", explican, lo que sugiere que "los modelos se ajustan demasiado a ciertas formulaciones en lugar de entender los conceptos".

"Antes de desplegar estas tecnologías en ámbitos donde las distinciones epistémicas son clave, es urgente mejorar su comprensión de lo que significa creer, saber o afirmar un hecho", advierten.