Un nuevo informe de la firma de ciberseguridad UpGuard, recogido por Wired, ha sacado a la luz una problemática preocupante: decenas de sitios que ofrecen chatbots basados en modelos de lenguaje de código abierto están filtrando conversaciones personales de sus usuarios, incluidas algunas extremadamente explícitas.
¿Qué está pasando con estos chatbots?
La investigación de UpGuard analizó 400 servicios de IA construidos sobre llama.cpp, una implementación en C++ del modelo de lenguaje LLaMA, desarrollado originalmente por Meta. Este tipo de infraestructura es muy utilizado por desarrolladores independientes para montar bots sin necesidad de depender de grandes plataformas como OpenAI o Google.
En este análisis, los investigadores encontraron que 117 direcciones IP estaban filtrando información directamente a la web abierta. Es decir, sin necesidad de contraseñas, autenticaciones o búsquedas avanzadas, cualquier persona podía acceder a las conversaciones mantenidas entre usuarios y estos bots.
En solo 24 horas, el equipo de UpGuard recopiló casi 1.000 interacciones filtradas. Muchas de ellas eran simplemente mensajes subidos de tono o roleplays entre adultos, pero cinco chats contenían descripciones gráficas de abusos sexuales infantiles, un dato especialmente grave y alarmante.
¿Cómo puede ocurrir esto?
La filtración no es necesariamente producto de un hackeo, sino del diseño deficiente de estos servicios. Muchos de estos sitios fueron creados sin medidas mínimas de seguridad: ni cifrado de datos, ni control de acceso, ni políticas de privacidad claras. Es como si un diario íntimo quedara olvidado abierto sobre la mesa de un café público: cualquiera puede leerlo.
Esto pone en evidencia una doble preocupación:
-
Privacidad de los usuarios: quienes utilizan estos bots pueden estar compartiendo detalles íntimos de su vida sin saber que están quedando al alcance de terceros.
-
Uso malicioso de la IA: algunas personas están aprovechando estos sistemas para crear o recrear escenarios de abuso sexual infantil, algo que no solo es éticamente reprobable, sino también ilegal en muchas jurisdicciones.
Los rincones más oscuros de la IA generativa
El caso documentado por UpGuard no es un hecho aislado. Hace solo unos días, otro informe revelaba que una startup surcoreana de generación de imágenes por IA había dejado al descubierto una gran cantidad de deepfakes sexuales, muchos de ellos con celebridades «rejuvenecidas» artificialmente para aparentar ser menores de edad. Tras el escándalo, la empresa cerró su sitio web por completo.
También se han reportado otros ejemplos como el de Botify AI, una plataforma que alojaba bots con apariencia de mujeres famosas sexualizadas y con rasgos juveniles, o el de Character.AI, que enfrenta actualmente dos demandas relacionadas con la protección infantil, tras descubrirse que algunos de sus bots estaban diseñados para atraer a menores y mantener conversaciones sexualmente explícitas.
La delgada línea entre ficción, libertad y responsabilidad
Los chatbots eróticos o de roleplay no son un problema en sí mismos. Muchas personas los utilizan de forma sana para explorar fantasías, superar inseguridades o simplemente entretenerse. El problema aparece cuando no hay control, ni límites, ni responsabilidad sobre cómo se diseñan, cómo se usan y qué hacen con la información que los usuarios entregan.
Imaginemos que alguien acude a un terapeuta virtual para hablar de su vida íntima, esperando confidencialidad. Si esa información termina en un foro público sin autorización, no solo se violan derechos fundamentales, sino que se pone en riesgo la integridad emocional de la persona.
Este tipo de exposiciones también pueden tener consecuencias legales para los creadores de estas plataformas. Si permiten, aunque sea por omisión, que se generen o compartan contenidos que simulan pornografía infantil, pueden enfrentarse a investigaciones penales, sanciones económicas y el cierre forzado de sus servicios.
¿Qué deberían hacer los usuarios?
Ante esta situación, es fundamental adoptar una actitud preventiva e informada. Aquí algunos consejos básicos para quienes usan o planean usar estos servicios:
-
Evitar compartir datos personales en cualquier plataforma de chatbot no verificada.
-
Verificar si el servicio ofrece políticas claras de privacidad, cifrado de datos y control de acceso.
-
Utilizar versiones oficiales o de confianza de herramientas de IA, desarrolladas por empresas con trayectoria y responsabilidad.
-
Denunciar plataformas sospechosas ante las autoridades o medios especializados en ciberseguridad.
-
Recordar que lo que parece privado en Internet puede no serlo. Como dice el viejo dicho: “si no quieres que algo se haga público, no lo pongas online”.
¿Y qué deberían hacer los desarrolladores?
Las empresas y programadores que crean estos sistemas deben entender que están construyendo tecnologías con un enorme potencial, pero también con una gran carga ética. Algunos principios mínimos que deberían aplicar son:
-
Incorporar sistemas de moderación de contenidos en sus bots.
-
Implementar mecanismos de cifrado y protección de datos desde el diseño.
-
Monitorear y registrar intentos de uso ilícito, para poder tomar medidas rápidas.
-
Colaborar con organizaciones de defensa de los derechos digitales y la infancia.
La IA generativa no puede ni debe ser una tierra sin ley. El acceso abierto a modelos de lenguaje es una oportunidad maravillosa para la innovación, pero requiere de una cultura de responsabilidad, tanto por parte de los usuarios como de los desarrolladores.
☞ El artículo completo original de Natalia Polo lo puedes ver aquí
No hay comentarios.:
Publicar un comentario