El debate sobre las "alucinaciones" de la inteligencia artificial, esas respuestas seguras, pero completamente falsas que generan los modelos de lenguaje, ha estado sobre la mesa desde el auge de ChatGPT. Mientras algunos consultores y autoproclamados gurús prometían soluciones mágicas para eliminarlas, los expertos más cautos advertían de su naturaleza inherente.
Ahora, OpenAI, en un ejercicio de transparencia, ha zanjado el debate con un nuevo paper que confirma lo que muchos sospechaban: las alucinaciones son, por ahora, un mal necesario.
Como un tipo test. Para entenderlo, OpenAI propone una analogía muy clara: un examen con múltiples opciones. Si un estudiante no sabe la respuesta, dejarla en planta le garantiza que ni le sume ni le reste puntuación (porque se puede suspender fácilmente arriesgándose al azar). Pero en el caso de la inteligencia artificial siempre se arriesga con la respuesta que da porque no puede decir 'no lo sé' como si ocurre con un estudiante.
Si tienes cuatro opciones por delante, hay un 25% de posibilidades de acertar y a este pequeño resquicio es al que se aferra la inteligencia artificial de ChatGPT para ofrecer una respuesta. Y la culpa es de los sistemas de evaluación de las inteligencias artificiales. Estos valoran siempre que la IA dé una respuesta, aunque literalmente se las acabe inventando.
Un modelo que dice "no sé" es penalizado, mientras que uno que "adivina" y acierta por casualidad es recompensado. A gran escala, esto crea modelos que priorizan dar una respuesta, cualquiera, antes que admitir su propia incertidumbre.
La propia OpenAI explica con un ejemplo lo que ocurre. Apunta a que si suponemos que a un modelo le pedimos que adivine la fecha de cumpleaños de una persona, tiene una posibilidad entre 365 de tener razón. Decir 'no lo sé' le garantiza cero puntos.
Qué dice el experto. Leon Palafox, profesor en la Universidad Panamericana Ciudad de México, apunta en X a lo siguiente:
Según un nuevo paper de OpenAI las alucinaciones son inevitables en los LLMs. No existe una forma teórica de eliminarlas — a menos que aceptemos que el modelo diga “no sé”. Y aun así, en escenarios abiertos seguirán apareciendo. Así que acuérdate de esto la próxima vez que un consultor te diga que puede “eliminar” las alucinaciones. A lo mucho se pueden gestionar. Pero erradicarlas por completo… eso no es cómo funciona esta tecnología.
Los datos. A través de una ilustradora tabla en su paper, OpenAI ha querido comparar las tasas de error de sus principales modelos de IA. Y aunque el modelo antiguo (04-mini) tiene una tasa de acierto ligeramente superior, su tasa de errores es abrumadoramente más alta, de un 75%. Todo ello porque casi nunca se abstiene de responder o decir 'no lo sé'.
El nuevo modelo, aunque acierta un poco menos, es mucho más fiable porque "sabe" cuándo no sabe la respuesta y su tasa de alucinaciones se desploma al 26%. El problema es que las tablas de clasificación y los benchmarks que dominan la industria siguen premiando la primera estrategia, la del "adivinador afortunado".
El origen del problema. Para poder entender el porqué hay que saber cómo funciona una IA: con la predicción de la siguiente palabra. Los grandes modelos siguen un proceso de entrenamiento muy importante donde se analizan grandes cantidades de textos. Esto hace por ejemplo, que sea muy raro que una IA comenta faltas ortográficas debido a que sigue reglas consistentes. Y en todo momento la IA está prediciendo la siguiente palabra a la hora de generar un gran texto.
"A diferencia de los problemas tradicionales de aprendizaje automático, no hay etiquetas “verdadero/falso” adjuntas a cada declaración. El modelo sólo ve ejemplos positivos de lenguaje fluido y debe aproximarse a la distribución general.", explica OpenAI.
Sin embargo, los datos fácticos, como la fecha de nacimiento de una persona o el título de su tesis doctoral, son arbitrarios. No siguen un patrón predecible. Cuando un modelo no tiene un dato concreto, en lugar de detenerse, su entrenamiento lo empuja a "rellenar el hueco" con la secuencia de palabras que le parece más plausible estadísticamente. El resultado es una respuesta que suena convincente, pero que es falsa.
Gestionar, no eliminar. La conclusión de OpenAI es clara y resuena con la advertencia de Palafox: debemos ser escépticos ante cualquiera que prometa "eliminar" las alucinaciones. La solución no pasa por crear modelos más y más grandes con la esperanza de que la precisión llegue al 100% (algo imposible, pues hay preguntas inherentemente incontestables), sino por cambiar el paradigma.
La clave está en recompensar la "humildad" de la IA. Es necesario rediseñar las métricas de evaluación para que penalicen duramente los errores confiados y den valor a las abstenciones. Como afirma OpenAI, "un modelo pequeño puede conocer mejor sus límites". De esta manera, la solución pasaría básicamente por el hecho de que la IA reconozca que no conoce algo antes de generar algo inventado 'por cumplir'.
-
La noticia Alucinan porque les premiamos por adivinar: OpenAI explica por qué modelos como GPT-5 todavía se inventan cosas fue publicada originalmente en Genbeta por José Alberto Lizana .
☞ El artículo completo original de José Alberto Lizana lo puedes ver aquí
No hay comentarios.:
Publicar un comentario