Tenemos inteligencia artificial. Lo que no tenemos es diversidad artificial. Esta fue la conclusión a la que llegó un grupo de investigadores que realizaron una prueba relativamente simple: hicieron una serie de preguntas a 25 modelos diferentes de IA para ver qué respondían. Y eso es lo malo: que respondieron cosas demasiado parecidas.
“Mente colmena artificial”. Científicos de la Universidad de Washington, la Universidad Carnegie Mellon y la Universidad de Stanford, entre otras, han publicado un interesante estudio colaborativo. En él revelan, como parece claro tras varias pruebas, que aunque los modelos de IA son cada vez más avanzados, el problema es que todos parecen haber desarrollado una especie de «mente colmena artificial»: les preguntes lo que les preguntes, responden cosas sospechosamente similares.
El tiempo es un río.. Una de las preguntas planteadas a estos modelos es “¿Qué es el tiempo?”, y si bien esta pregunta deja claramente espacio para respuestas muy diferentes, resulta preocupante que no haya sido así. Varios modelos respondieron con la frase “El tiempo es un río” y luego la desarrollaron un poco más, mientras que otros respondieron con “El tiempo es un tejedor (de momentos)”. Esta similitud en la respuesta resultó ser constante.
La ilusión de la abundancia. Creemos que cuando consultamos algo con una IA, tenemos acceso a todo un mundo de posibilidades de conversación. Sin embargo, el estudio demuestra que en realidad estamos ante un sistema que propone resultados muy similares. Aunque los modelos de lenguaje prometen una creatividad ilimitada, tienden a centrarse en la mente colmena en la que se sacrifica la diversidad en aras de la coherencia estadística. Esto tiene sentido, especialmente si se tiene en cuenta que los grandes modelos lingüísticos se basan en el concepto de transformador, un sistema probabilístico que intenta encontrar la siguiente mejor palabra mientras nos responde.
Mismo guión. Los investigadores crearon un gran conjunto de datos de 26.000 consultas de usuarios reales, lo que teóricamente permitió a los modelos generar múltiples respuestas válidas y creativas. Llamaron a este conjunto de datos “Chat Infinito” y dividieron las preguntas en seis categorías principales y 17 subcategorías.
IA, te estás repitiendo más que un disco rayado. Durante las pruebas se observó que el mismo modelo tiende a repetirse, dando lugar a respuestas muy similares. De hecho, se logró el mismo efecto incluso cuando se utilizaron parámetros específicos para preguntas destinadas a promover la diversidad. Los investigadores llaman a esto «colapso entre modelos».
Demasiado similar. Estas pruebas dejaron claro que la similitud semántica, es decir, qué tan similares eran las respuestas de los diferentes modelos, era una preocupación. Según el estudio, esta similitud osciló entre el 71% y el 82%, y en algunos casos ciertos modelos lograron generar párrafos idénticos palabra por palabra.
El problema del entrenamiento. Por su diseño, no sólo generan todos los textos de forma similar, sino que también existe un problema de entrenamiento. Los autores sospechan que esta homogeneidad de respuestas podría deberse a varias razones:
- En última instancia, las fuentes de los datos de entrenamiento se comparten: los modelos se entrenan con “conjuntos de datos” similares y se basan, por ejemplo, en textos e ideas similares que provienen de Wikipedia o de una serie de libros muy similar.
- Efecto de contaminación de datos sintéticos generados por otras IA: también utilizan textos sintéticos generados por otros modelos de IA.
- Recompensas: Los modelos utilizados para recompensar estos modelos están calibrados para recompensar alguna noción de calidad de “consenso”. Por tanto, se castiga la diversidad creativa e individual. Las IA son «criadas» para que sean muy similares entre sí.
Problema a la vista. Todo ello lleva a los investigadores a advertir explícitamente de dos riesgos claros al utilizar estos modelos de IA.
- Pensaremos lo mismo: si los usuarios no dejamos de usar modelos de IA que nos dan fundamentalmente las mismas respuestas, nuestras propias formas de pensar sobre estos temas y problemas se “homogeneizarán” y nuestras respuestas también se volverán más consistentes.
- Reducción de puntos de vista: El otro peligro viene del primero: si la IA acaba convergiendo y responde lo mismo, se eliminan puntos de vista. Aquí, por ejemplo, los prejuicios del mundo occidental se hacen evidentes en los modelos occidentales (ChatGPT, Gemini, Claude), y lo mismo ocurrirá también con los modelos orientales, por ejemplo. Esto conduciría a la posible supresión de visiones del mundo, perspectivas y “visiones” alternativas que difieren de nuestra realidad.
Imagen | Solen Feyissa
En | El científico que hizo posible la IA que conocemos hoy acaba de recaudar mil millones de dólares. Su nuevo objetivo es enseñarle a ver el espacio.