Es el mayor y más peligroso problema de la inteligencia artificial moderna. El pecado original. La tendencia de los grandes modelos de lenguaje a inventarse datos, a presentar información falsa como si fueran hechos irrefutables. Lo llamamos «alucinación», un término casi poético para un fallo que puede tener consecuencias devastadoras. Y ahora, en un acto de honestidad brutal, sus propios creadores, los investigadores de OpenAI, han confesado: la culpa es nuestra.
En un nuevo y revolucionario artículo, del que se hace eco Business Insider, los ingenieros de OpenAI afirman no solo haber encontrado la raíz del problema, sino también la solución. Y no es un parche técnico. Es un cambio de filosofía total en la forma en que entrenamos y evaluamos a estas bestias digitales.
El problema: hemos entrenado a la IA para ser una ‘sabelotodo mentirosa’
La tesis de OpenAI es tan simple como demoledora. La culpa de que la IA alucine reside en los criterios de evaluación que usa toda la industria. «Los modelos están optimizados para comportarse como personas que realizan un examen, donde adivinar en situaciones de incertidumbre puede incluso mejorar sus puntuaciones».
Hemos creado un sistema que premia a la IA por «adivinar» y la penaliza si dice «no lo sé». La hemos entrenado para que finja saberlo todo, para que se comporte como un estudiante que prefiere soltar una respuesta incorrecta antes que dejar una pregunta en blanco. Mientras que los humanos aprendemos el valor de la incertidumbre a través de los reveses de la vida, a la IA la evaluamos en exámenes que penalizan la duda.
La solución: premiar la honestidad
Si la raíz del problema es que las métricas de evaluación no están alineadas con la realidad, la solución, según OpenAI, es rediseñar por completo esos criterios. Proponen ajustar el método de puntuación para que no se resten puntos por negarse a responder cuando el modelo no está seguro.
Quieren que las tablas de clasificación dejen de premiar las «adivinanzas afortunadas». Es un cambio radical que busca entrenar a la IA no para que sea una enciclopedia que siempre tiene una respuesta, sino para que sea una herramienta honesta que sepa reconocer los límites de su propio conocimiento.
El dilema de la utilidad vs. la cautela
Este enfoque, sin embargo, abre un nuevo dilema. OpenAI señala en su propio informe que su gran rival, Claude de Anthropic, ya tiende a ser mucho más cauto y a menudo se niega a responder preguntas cuando no está seguro. Esto reduce drásticamente sus errores, sí, pero también «podría reducir su utilidad».
Es el equilibrio perfecto entre ser un genio a veces mentiroso o un compañero honesto pero a veces inútil.
El veredicto del Gurú
La publicación de este artículo por parte de OpenAI es una de las noticias más importantes del año en el mundo de la IA. Es la admisión, por parte del líder de la industria, de que el método que han usado para construir estas herramientas es fundamentalmente defectuoso. Es un acto de transparencia valiente y muy necesario.
Abre la puerta a una nueva generación de modelos de IA que no solo serán más potentes, sino también más fiables y honestos. Un futuro donde, cuando le preguntes algo a una IA, puedas confiar en que, si te da una respuesta, esta será correcta. Y si no lo sabe, tendrá la humildad de decírtelo. Y esa, probablemente, es la característica más inteligente que podría tener.
¿Prefieres una IA que a veces se equivoque pero siempre intente ayudar, o una que solo responda cuando esté 100% segura? El debate sobre la personalidad de la IA del futuro está servido. Déjanos tu opinión en los comentarios y únete a la discusión en Instagram, Facebook y YouTube.