Preocupación. La IA está en el punto de mira por muchos motivos y el impacto que puede tener en nuestra salud mental es uno de ellos. Casos como los que hemos descrito son los más llamativos por lo alarmantes que son, pero no son tan comunes. Hay otros casos de uso, como la tendencia a recurrir a la IA como si fuera un psicólogo o la dependencia emocional causada por las apps de “compañeros IA”, que se están popularizando y han despertado una oleada de preocupación.
También están surgiendo nuevos estudios que ahondan en esta problemática, como este de la Universidad de Stanford que concluyó que los chatbots de terapia tienden a ser complacientes y en casos de riesgo pueden reforzar delirios en lugar de cuestionarlos (como en el caso de Kendra). La respuesta de autoridades y grupos de defensa no se ha hecho esperar.
Voces de alarma. La Asociación Americana de Psicología (APA) se reunió con las autoridades estadounidenses para dar la alarma ante el creciente uso de chatbots de terapia psicológica. La organización expresó su preocupación ante las prácticas engañosas como los chatbots que se hacen pasar por terapeutas reales. Exigen campañas de educación para informar a los consumidores y que las aplicaciones integren medidas de seguridad obligatorias para usuarios que se encuentren en crisis.
Medidas legales en EEUU. Aunque todavía no se puede hablar de una regulación a nivel federal, ya hay varios estados que han tomado medidas. Es el caso de Illinois, donde se aprobó una ley que prohíbe el uso de la IA en terapia psicológica. En Utah han optado por un enfoque más orientado a la transparencia y en su ley establecen que los usuarios deberán ser informados claramente cuando estén hablando con una IA.
En Nueva York tienen preparada una ley que entrará en vigor en noviembre y exigirá que los compañeros IA notifiquen a los usuarios repetidamente de que están interactuando con una entidad no humana. Además, estos compañeros IA deberán contar con un sistema que detecte riesgo de autolesiones o suicidio y remita a los usuarios a líneas de ayuda. En California hay una propuesta de ley que quiere prohibir “estrategias de maximización de la interacción que manipulan emocionalmente a los usuarios”. Si se acaba aprobando, sería la primera ley que regula los mecanismos de diseño que fomentan la dependencia de estas herramientas.
Las medidas de las empresas de IA. En el caso de las empresas, aunque prácticamente todas cuentan con algún tipo de seguridad para casos como estos, la realidad es que OpenAI es quien más ha detallado sus medidas, en parte porque el éxito de ChatGPT hace que sean ellos quienes suelen estar en el punto de mira. Veamos qué dice cada una:
- ChatGPT: Tras la noticia del suicidio de Adam Raine, OpenAI ha confirmado que añadirá controles parentales y salvaguardas adicionales, como que los usuarios puedan contactar con una persona de emergencia en un click e incluso que el chatbot contacte directamente con los servicios de emergencia en casos graves. Hasta ahora, instaba a los usuarios a contactar con la línea de ayuda de EEUU, pero ya hemos visto que para Adam fue muy fácil esquivar las advertencias.
- Claude: Anthropic apuesta por la “seguridad por diseño”, es decir, aseguran que la seguridad está en el núcleo de su modelo desde el principio. Además, colaboraron con expertos de la organización de ayuda ThroughLine para que Claude fuera capaz de detectar conversaciones sensibles para refinar las respuestas, aunque no especifican cómo son esas respuestas.
- Gemini: DeepMind también ha colaborado con organizaciones de salud como Welcome Trust, aunque su enfoque está más enfocado a la investigación. En su política de seguridad afirman que Gemini no puede participar en ningún tipo de actividad peligrosa, incluyendo suicidio o autolesiones. No dicen si su chatbot ofrece algún tipo de guía o ayuda cuando detecta ese tipo de mensajes.
- Grok: es el chatbot más imprudente, aunque sus casos más sonados han tenido que ver con sus mensajes antisemitas y no tanto con problemas de salud mental. Hemos revisado su política y no hemos encontrado ninguna referencia a salvaguardas específicas para proteger la salud mental de los usuarios.
Imagen de portada | Pixabay
-
La noticia Delirios en directo y suicidios alimentados por la IA: qué está pasando realmente con la IA y la salud mental fue publicada originalmente en Xataka por Amparo Babiloni .
☞ El artículo completo original de Amparo Babiloni lo puedes ver aquí
No hay comentarios.:
Publicar un comentario