Las alucinaciones han sido el talón de Aquiles de la IA desde que los chatbots pasaron a formar parte de nuestras vidas. Empresas como OpenAI prometieron que las alucinaciones podrían mitigarse mediante procesos de formación adecuados, pero años después, tanto ChatGPT como sus competidores directos siguen inventando respuestas cuando no están seguros de qué decir. Shuhui Qu, investigadora de la Universidad de Stanford, cree haber encontrado una manera de abordar el problema.
Un problema estructural. Los modelos lingüísticos actuales tienen un defecto de fábrica: responden con total confianza, incluso cuando no tienen idea ni la información necesaria.
Esto tiene que ver con cómo avanzan en el procesamiento de una respuesta, ya que los LLM no tienen problemas para completar la información que falta, incluso si no se ciñen a la realidad y trabajan con suposiciones.
Primero: reconocerlo. Shuhui Qu, investigadora de la Universidad de Stanford, publica un artículo que presenta lo que ella llama planificación categórica bidireccional con autoconsejería.
Un enfoque que parte de una idea simple pero que resulta inconveniente para las grandes empresas tecnológicas: obligar al modelo a reconocer explícitamente lo que no sabe y no seguir adelante hasta que lo resuelva.
Un método más científico. La idea no es que el modelo piense mejor, sino que deje de actuar como si lo supiera todo. El enfoque de El punto de partida es un supuesto básico: cada vez que el modelo da un paso en su argumentación, debe preguntarse si realmente tiene la información necesaria para hacerlo.
Si ocurre una condición desconocida, el modelo no puede continuar. No debes llenar el vacío con una suposición y debes hacer una pausa para despejar la incertidumbre antes de seguir adelante. Puedes hacer esto de dos maneras:
- Bueno, haz una pregunta específica para obtener la información que falta.
- Ya sea introduciendo un paso intermedio (revisión, consulta adicional) que pase a formar parte de la cadena de razonamiento.
el metodo. Utilizando código externo, los investigadores pudieron hacer que modelos como GPT-4 respondieran solo cuando tenían la información completa. Lo hicieron con tareas sencillas pidiendo recetas de cocina e instrucciones de wikihow. ¿La clave? Retuvieron intencionalmente información para obligarlo a detenerse.
La conclusión del estudio fue que definir explícitamente los requisitos previos y verificarlos antes de continuar reduce significativamente los errores de LLM cuando falta información. Por supuesto, se admite de paso que ni siquiera esto es suficiente para que las alucinaciones desaparezcan por completo.
no tan rápido. Aunque la idea del investigador suena brillante, es muy poco probable que se lleve a cabo a corto y medio plazo. Este tipo de procesamiento rompe el flujo natural de los LLM actuales, que están diseñados para devolver respuestas completas.
Para que un sistema así funcione es necesario añadir una capa adicional a la estructura, unos prerrequisitos que le obliguen a controlar las llamadas, a interpretar las respuestas por sí mismos, a clasificarlas y a impedirse hacer preguntas cuando no se tiene toda la información. Es decir, que por ahora la IA seguirá marcando los triples a los que ya estamos acostumbrados.
Imagen |
En | ChatGPT inventa datos y eso es ilegal en Europa. Por eso una organización ha decidido solucionar el problema con una demanda