En una postura más propia del “pingüino nihilista” que la del director de seguridad de uno de los actores clave en el desarrollo de la IA, Mrinank Sharma, jefe de seguridad de inteligencia artificial de Anthropic, ha anunciado su dimisión en una carta pública. en tu perfil X y dedicará su vida a escribir poesía.
En su declaración, Sharma no sólo explicó por qué abandona la empresa que desarrolla los modelos de Claude, sino que también describió el estado actual del desarrollo de la IA en un lenguaje que mezcla alarma con reflexión personal. “El mundo está en peligro”, afirmó el exdirector de Anthropic.
El contexto: quién es y qué hizo en Anthropic. Mrinank Sharma dirigió el Equipo de investigación de seguridad de Anthropic, un grupo de investigación centrado en estudiar los riesgos asociados a los sistemas de IA.
Dentro de Anthropic, el trabajo de Sharma incluyó el desarrollo de defensas contra riesgos como el bioterrorismo habilitado por IA y el estudio de fenómenos como adulación (la tendencia de los modelos de IA a halagar al usuario) y examinar cómo la IA puede influir en la percepción humana y cambiar los comportamientos culturales.
Se va pero deja un mensaje.. La carta casi críptica que Sharma publicado en X Rápidamente se volvió viral por los mensajes que contenía. En él expresó sus preocupaciones en un tono que iba más allá de lo técnico. Una de las citas que llamó más la atención: «El mundo está en peligro. Y no sólo por la IA o las armas biológicas, sino por una serie de crisis interconectadas que se están desarrollando en este mismo momento».
Más allá del literalismo casi apocalíptico, Sharma advirtió que la humanidad se acerca a un punto crítico en el que el desarrollo de la IA plantea dilemas éticos a quienes la desarrollan: «Nuestra sabiduría debe crecer al mismo ritmo que nuestra capacidad de influir en el mundo, o afrontaremos las consecuencias».
Trabajar para seguir desempleado. Sharma no es el único que enfrenta este dilema ético. Respectivamente Fuentes de El telégrafoOtros empleados de Anthropic han expresado su preocupación por el enorme salto evolutivo de los últimos modelos de IA. “Siento que vengo a trabajar todos los días para estar desempleado”, admitió uno de los empleados a los medios británicos.
En cierto modo, eso es cierto, porque estas personas están trabajando para desarrollar tecnología que probablemente cambiará la naturaleza de su trabajo y el de millones de personas en tan sólo unos años.
¿Eso es bueno o malo? Cuando lees la carta por primera vez, tienes la impresión de que estos trabajadores están desarrollando el arma que destruirá a la humanidad. Sin embargo, si lees entre líneas, Anthropic se encuentra en una situación pionera respecto a sus competidores de OpenAI, Microsoft o xAI: logran avanzar a un ritmo que abruma incluso a sus desarrolladores. Una sensación que al parecer no aparece en las plantillas de otras empresas. ¿Será que sus modelos aún no están en este punto de desarrollo?
«Durante mi estancia aquí, he visto una y otra vez lo difícil que es dejar que nuestros valores guíen nuestras acciones. Estamos constantemente bajo presión para dejar de lado lo que más importa», escribió Sharma.
El giro poético. Además de reflexionar sobre los riesgos globales que percibe, Sharma anunció que su próximo paso profesional será muy diferente al que ha dado hasta ahora. En su carta, mencionó su intención de realizar lo que llamó «la práctica de hablar con valentía» a través de la poesía. Ese paso de Los Ángeles a la poesía fue interpretado como una señal de insatisfacción con el ritmo y el enfoque que prevalece en la industria de la tecnología de IA.
Al igual que Sharma, otras figuras clave en el desarrollo de la IA de Anthropic también anunciaron su retiro en las últimas semanas. Mehta duro Y Behnam Neyshabur También anunciaron hace unos días que dejaban la empresa. Sin embargo, en estos casos se hizo el anuncio de salida e inmediatamente después el anuncio de un nuevo proyecto de IA. Es decir, lejos de los postulados éticos que proponía Sharma, su intención era cavar en su propia mina de oro y no en la de otros.
En | Daniela Amodei, cofundadora de Anthropic: “Estudiar humanidades es cada vez más importante que nunca”
Imagen | Mrinank SharmaAntropoceno