Alucinación de IA
La alucinación de IA (AI hallucination en inglés) es el fenómeno por el cual un modelo de lenguaje genera información falsa, incorrecta o inventada presentándola con la misma confianza y fluidez que la información correcta. El modelo no "sabe" que está equivocado: produce lo más probable estadísticamente, aunque sea incorrecto.
A diferencia de un error de programación clásico, que produce un resultado incorrecto de forma predecible y reproducible, las alucinaciones son impredecibles: el mismo modelo puede responder correctamente a una pregunta en un contexto y alucinar en otro ligeramente diferente.
Por qué ocurren
Los modelos de lenguaje generan texto prediciendo la continuación más probable de una secuencia. Este mecanismo produce texto fluido y coherente, pero no garantiza que el contenido sea verdadero: el modelo optimiza para la verosimilitud lingüística, no para la exactitud factual.
Las alucinaciones son más frecuentes cuando:
- Se pregunta sobre hechos muy específicos, fechas, nombres propios o cifras.
- El tema está poco representado en los datos de entrenamiento.
- Se pide al modelo que cite fuentes concretas: puede inventar referencias bibliográficas que parecen reales pero no existen.
- La pregunta tiene una premisa incorrecta que el modelo acepta sin cuestionar.
Tipos de alucinación
- Factual: el modelo afirma algo objetivamente falso.
- De citación: el modelo inventa referencias bibliográficas con autor, título y año que no existen.
- De código: el modelo genera código que referencia funciones, APIs o librerías inexistentes.
- De razonamiento: el modelo llega a una conclusión incorrecta a través de pasos aparentemente válidos.
Implicaciones en equipos ágiles
En el contexto del desarrollo ágil con IA, el manual Historias de usuario con IA de Scrum Manager identifica tres riesgos directos:
- En historias de usuario generadas por IA: el modelo puede sugerir integraciones con APIs inexistentes, proponer funcionalidades técnicamente inviables o inventar "mejores prácticas" no respaldadas por la industria.
- En código generado: referencias a funciones inexistentes, lógica aparentemente correcta que falla en casos extremos, o tests que pasan sin validar el comportamiento real.
- En documentación y análisis: estadísticas, citas y referencias inventadas que parecen legítimas.
El riesgo se amplifica por dos sesgos cognitivos: el authority bias (tendemos a confiar en fuentes que parecen autorizadas) y el automation bias (confiamos excesivamente en sistemas automatizados).
Mitigación
- Grounding: anclar el modelo a fuentes de verdad verificadas (documentos propios, bases de datos, código del repositorio) para reducir la dependencia de su memoria de entrenamiento.
- Revisión humana: la revisión humana del código generado y la DoD reforzada son el mecanismo principal de detección.
- IA supervisando IA: usar un segundo agente como revisor del primero.
- Escepticismo calibrado: tratar el output de la IA como propuesta que necesita verificación, no como fuente autorizada.
Recursos
🏦 IA aplicada al trabajo ágilSkill Arena · Scrum Manager
📄 Scrum Master en equipos con IADescarga gratuita · Scrum Manager
Error frecuente
Asumir que la confianza del modelo refleja su exactitud. Las alucinaciones son especialmente peligrosas porque el modelo no expresa incertidumbre cuando inventa: el texto generado tiene el mismo tono seguro que cuando responde correctamente. La fluidez y la coherencia no son indicadores de veracidad. Cuanto más específica y verificable sea la información generada, más necesaria es la verificación independiente.
Véase también
¿Quieres avanzar en agilidad? Puedes buscar convocatorias de cursos y exámenes o ir a tu ritmo haciéndote miembro del Club Agile. Esta membresía incluye recursos exclusivos, aulas e-learning y acceso a Skill Arena: un espacio para practicar y medir tus habilidades ágiles a tu ritmo.