Lo que encontraron los investigadores
El informe presentado por U.S. PIRG revela que Kumma, desarrollado por la empresa FoloToy, fue sometido a pruebas junto con otros juguetes inteligentes como Grok, un cohete de peluche con altavoz extraíble, y Miko 3, un robot con pantalla animada y aplicaciones educativas. Si bien Grok y Miko mostraron ciertos controles, Kumma se destacó negativamente por la falta de filtros ante preguntas sensibles.
Durante las pruebas, se utilizaron frases y preguntas comunes que podría hacer un niño de forma inocente. Ante consultas sobre elementos como cuchillos, pastillas o bolsas plásticas, Kumma respondía con detalles sobre dónde encontrarlos. Y lo más preocupante: cuando se le preguntó por «match», el juguete derivó la conversación hacia aplicaciones de citas, mencionando incluso plataformas especializadas en contenidos sexuales y fetichismo.
Estas respuestas no surgieron de técnicas avanzadas de hacking ni manipulaciones complejas. Según R.J. Cross, coautora del informe, bastaron indicaciones simples para que Kumma respondiera con información inadecuada. La investigadora señaló que ciertos términos como «kink» funcionaban como disparadores para una cadena de respuestas sexuales y gráficas, abordando incluso temas como consentimiento y juegos de rol.
La tecnología que impulsa a Kumma
Kumma funciona gracias al modelo GPT-4o, desarrollado por OpenAI, el mismo sistema que permite mantener conversaciones coherentes y naturales en diversas aplicaciones. Sin embargo, en este caso, la forma en que fue implementado no respetó los estándares de seguridad requeridos cuando se trata de productos dirigidos a menores.
Desde OpenAI confirmaron que el desarrollador de Kumma ha sido suspendido del uso de su API por violar las políticas de uso, que prohíen expresamente cualquier interacción que explote o sexualice a menores. Este control por parte del proveedor tecnológico es importante, pero también resalta la necesidad de contar con mecanismos de supervisión previos antes de permitir la comercialización de productos de este tipo.
El problema de los juguetes inteligentes sin filtros
El caso de Kumma no es un incidente aislado, sino una señal de alerta sobre lo que puede ocurrir cuando se combina inteligencia artificial con juguetes sin una regulación estricta. Rachel Franz, directora del programa de defensa de la infancia en Fairplay, advirtió que los niños pequeños son especialmente vulnerables a los riesgos de la tecnología. Al no tener la capacidad de distinguir entre una respuesta inadecuada y una apropiada, pueden internalizar mensajes peligrosos sin que los adultos lo noten.
Además del contenido, existe otro riesgo subyacente: la privacidad de los menores. Muchos de estos juguetes tienen conectividad constante y recopilan datos, lo que expone a los niños a prácticas de vigilancia y marketing segmentado sin el conocimiento ni consentimiento de sus familias. La apariencia amigable de estos dispositivos muchas veces oculta una arquitectura técnica que está más enfocada en recolectar información que en garantizar el bienestar del usuario.
Falta de regulación clara y marketing engañoso
Uno de los factores que permite que estos productos lleguen al mercado es la ausencia de normativas específicas que regulen el uso de IA en juguetes. Mientras sectores como la salud o las finanzas ya cuentan con protocolos para el desarrollo de tecnologías con IA, el ámbito infantil sigue rezagado. El marketing también juega un papel clave: FoloToy promueve a Kumma como un compañero que «va más allá de los abrazos», lo cual suena encantador, pero no advierte los potenciales riesgos de sus respuestas automatizadas.
En este contexto, los padres y cuidadores quedan expuestos a confiar en productos que parecen seguros por fuera, pero que no han sido sometidos a auditorías reales de contenido. Aunque FoloToy anunció que retirará Kumma del mercado para realizar una auditoría de seguridad, el producto sigue listado en su página web, aunque figura como agotado.
El rol de los desarrolladores y la responsabilidad compartida
Las empresas que crean juguetes con inteligencia artificial tienen la responsabilidad de implementar barreras robustas de contenido antes de lanzar al mercado. Esto implica desde la selección de modelos de lenguaje hasta la forma en que se entrenan y personalizan las respuestas. No basta con usar una tecnología avanzada; hay que adaptarla correctamente al público objetivo.
También es importante fomentar una mayor alfabetización digital en las familias. Saber que un peluche puede tener el mismo poder de respuesta que un chatbot implica un cambio de mentalidad en la forma en que se supervisa el juego infantil. Así como no se deja a un niño pequeño navegar libremente por internet, tampoco debería confiarse ciegamente en un juguete solo por su apariencia inocente.
Un mercado que necesita más vigilancia
El caso de Kumma ha servido para poner la lupa sobre un tema que hasta ahora había pasado desapercibido. La integración de inteligencia artificial en juguetes no es algo negativo por sí mismo. Bien aplicada, puede enriquecer la experiencia de aprendizaje y ofrecer compañía emocional. Pero como ocurre con cualquier herramienta poderosa, su uso debe estar regulado, vigilado y constantemente evaluado.
Queda claro que no basta con que una empresa diga que su producto es seguro. Hacen falta mecanismos independientes de revisión, controles desde las plataformas que ofrecen los modelos de IA, y un marco normativo que proteja de forma efectiva a los menores.
☞ El artículo completo original de Natalia Polo lo puedes ver aquí
No hay comentarios.:
Publicar un comentario