El debate sobre el impacto de la IA en la salud mental está empezando a convertirse en acciones concretas. OpenAI anunció controles parentales en ChatGPT después de la demanda por suicidio de adolescentes, y ahora tenemos la primera ley que regula a los llamados amigos Compañero de IA popularizado por aplicaciones como Replika o Character.AI.
¿Qué pasó? El gobernador de California, Gavin Newsom, acaba de firmar la primera ley para controlar a los compañeros de IA, según informa en TechCrunch. «Podemos seguir siendo líderes en inteligencia artificial y tecnología, pero debemos hacerlo de manera responsable y proteger a nuestros niños en cada paso del camino. La seguridad de nuestros niños no se puede comprar», dijo el gobernador. una declaración.
¿Por qué es importante?. Hay más sugerencias sobre la mesa en los Estados Unidos, pero California es el primer estado en convertir en ley la cuestión de los acompañantes de IA. Los riesgos de utilizar este tipo de chatbots, especialmente entre adolescentes, ya no existen Advertencias de expertosAhora habrá consecuencias legales. Las empresas que no sigan las reglas podrían enfrentar multas de hasta 250.000 dólares.
¿Qué es un compañero de IA?. Son chatbots que tienen como objetivo recrear una conexión humana y pueden brindar desde apoyo emocional hasta relaciones íntimas. Debido a su diseño, son la forma más sensible de IA en términos de posibles impactos en la salud mental. Las aplicaciones más populares son Replika y Character.AI, pero también existen aquellas que crean este tipo de conexiones con chatbots de IA «normales» como ChatGPT o Claude. Incluso hay empresas que utilizan la IA para “resucitar” a un ser querido y ayudarle a afrontar el duelo (aunque los expertos así lo creen). lograr exactamente lo contrario).
Lo que dice la ley. Entra en vigor el 1 de enero de 2026 y sirve, en particular, para proteger a los usuarios más jóvenes. Entre las medidas contienen Las empresas están obligadas a integrar sistemas de verificación de edad. Además, deberán mostrar advertencias que dejen claro a los usuarios que las interacciones son generadas por IA e integrar protocolos para detectar suicidios o autolesiones.
Otras medidas. Como decíamos al principio, la demanda presentada por los padres del adolescente, que habían discutido sus planes suicidas con ChatGPT, desencadenó una crisis en OpenAI, que pronto anunció nuevas protecciones para ChatGPT, como el control parental. Las aplicaciones complementarias de IA también incluyen este tema en su discurso. La IA del personaje ya lo tiene Herramientas para padres y Replika aseguraron a TechCrunch que gastan muchos recursos filtrando contenido y dirigiendo a los usuarios a líneas directas en situaciones complicadas.
En | La gente se está enamorando de las IA y no son casos aislados: ya se cuentan por miles