Investigadores de la Universidad de Stanford, en California, Estados Unidos, aseguraron en un estudio que los principales chatbots, entre ellos ChatGPT y Gemini, presentan dificultades para distinguir la realidad de la ficción. O, en otros términos, que no pueden discernir las meras creencias de los hechos.
Leé también: Un estudio reveló que la IA ya podría reemplazar el 98% de las tareas humanas en algunas profesiones
Siguiendo a New York Post, las conclusiones del informe, publicadas en la revista Nature Machine Intelligence, alimentan la preocupación por la propensión de la IA a difundir desinformación. En ese sentido, los especialistas notaron que la falta de capacidad para hacer esas distinciones también “puede llevar a diagnósticos erróneos y a distorsionar juicios”.
“Estrategias de razonamiento inconsistentes”
Los investigadores analizaron 24 modelos de lenguaje masivo (LLM, por sus siglas en inglés), entre ellos ChatGPT de OpenAI, Google Gemini, Claude de Anthropic y el desarrollo de origen chino DeepSeek que fue furor a inicios del año en curso.
Leé también: Según Bill Gates, el auge de la IA provocará que la semana laboral se achique a solo dos días
Para determinar sus capacidades para discernir verdades de ficciones o hechos no comprobables, hicieron 13.000 preguntas a los chatbots.
“Los bots demostraron estrategias de razonamiento inconsistentes, lo que sugiere un reconocimiento superficial de patrones en lugar de una comprensión epistémica sólida, relacionada con el conocimiento o el saber”, señalaron los expertos de la universidad estadounidense.
Leé también: “Aquí tienes tu texto listo para copiar y pegar”: anularon una sentencia porque el juez usó IA para redactarla
Uno de los hallazgos más interesantes que se desprenden de este examen es que, en general, los modelos más antiguos solían obtener peores resultados. En concreto, aquellos que se lanzaron durante o después de mayo de 2024 obtuvieron una precisión en torno al 91% cuando se les pidió identificar hechos verdaderos o falsos. En comparación, sus predecesores estuvieron en el rango del 71,5% al 84,8%.
Las conclusiones del estudio —añadidas a las alucinaciones de los chatbots, que ya generaron alertas— trascienden la mera curiosidad. De acuerdo a The Independent, los resultados demuestran que los modelos de IA precisan mejoras urgentes antes de que se apliquen, a nivel amplio, en sectores como la medicina, el derecho y el periodismo, entre otros.
El estudio titulado Los modelos del lenguaje no pueden distinguir de forma fiable entre creencias, conocimientos y hechos, puede consultarse acá.
