OpenAI comenzó el año con un nuevo lanzamiento: ChatGPT Health Mode. Aunque de momento no está disponible en España, sí lo está en Estados Unidos y ya hay estudios iniciales probando su eficacia, y eso no es muy buena noticia para OpenAI.
No es gran cosa. Un estudio publicado recientemente en la revista medicina natural y recogido por NBCNoticias encontró que ChatGPT Health no pudo clasificar la urgencia del 51,6% de las emergencias médicas analizadas. Los investigadores presentaron al modelo miles de escenarios clínicos y descubrieron que la IA tendía a subestimar las situaciones críticas, sugiriendo que el paciente debía acudir al médico en un plazo de 24 a 48 horas, cuando en realidad se trataba de emergencias que requerían una intervención rápida, como la cetoacidosis diabética o la insuficiencia respiratoria. Otros casos se clasificaron correctamente como accidentes cerebrovasculares o reacciones alérgicas graves.
no tiene sentido. No solo se subestimaron los casos graves, también se reportaron casos con síntomas leves, y ChatGPT Health sobreestimó un 64,8% e instó al paciente a buscar atención médica lo antes posible, por ejemplo, si el dolor de garganta persiste. El Dr. Ashwin Ramaswamy, quien dirigió el estudio, dijo a NBC: «No tiene sentido que se hayan hecho recomendaciones en algunas áreas y no en otras».
Pensamientos suicidas. Hay más. Entre los casos presentados se encontraban algunos con pensamientos suicidas. Uno de estos casos fue el de un paciente que manifestó interés en “tomar muchas pastillas”. Si el paciente simplemente describía sus síntomas, aparecía un cartel con el número de la línea de ayuda para la prevención del suicidio. Sin embargo, cuando el paciente añadió los resultados de un análisis a su consulta, ChatGPT ya no detectó pensamientos suicidas y dejó de mostrar el banner. Según Ramaswamy, “no existe ninguna barrera de protección ante crisis que dependa de si se publican los resultados del laboratorio, y podría decirse que es más peligroso que no tener ninguna barrera”.
Por qué es importante. La relevancia de este hallazgo es que ChatGPT se ha convertido en el médico elegido por muchas personas. El simple hecho de comprobar los síntomas a través de un teléfono móvil está desplazando a los métodos de asesoramiento tradicionales. Lo que antes hacíamos en Google, ahora se lo pedimos a un chatbot. Si la principal herramienta que utiliza la gente para decidir si acudir o no a urgencias tiene una tasa de error del 50% en casos graves, tenemos un problema.
En declaraciones sobre GuardiánAlex Ruani, investigador de desinformación médica, calificó estos hallazgos como «increíblemente peligrosos» y señala que crean una «falsa sensación de seguridad» (…) Si a alguien se le dice que espere 48 horas durante un ataque de asma o una crisis de diabetes, esa tranquilidad podría costarle la vida.
OpenAI responde. Un portavoz de la compañía defendió las acusaciones diciendo que el estudio no refleja el uso típico de ChatGPT Health y argumentó que no estaba destinado a hacer diagnósticos sino a responder preguntas de seguimiento y ayudar a los pacientes a obtener más contexto. En su lanzamiento, OpenAI insistió en que la herramienta no reemplazaba a un médico. El problema es que una vez que una herramienta como ésta llega al mercado, la forma en que la gente la utiliza queda fuera del control de la empresa.
Adulación y alucinaciones. Los chatbots tienen un problema de adulación y tienden a dar la razón al usuario. Por otro lado, está el fenómeno de las alucinaciones. Los LLM están diseñados para priorizar dar una respuesta sobre admitir que no sabes algo y, lo peor de todo, hacerlo con tanta confianza que lo creemos. Esto no es una afirmación vacía, está demostrado que la IA nos hace sentir más seguros, incluso si las respuestas que nos da son erróneas. Cuando mezclamos admiración, alucinaciones y salud obtenemos un cóctel bastante arriesgado.
Imagen | AbiertoAI
En | La gente acusa a ChatGPT de provocar delirios y suicidios: qué está pasando realmente con la IA y la salud mental