Por primera vez, unos investigadores especializados en ciberseguridad han capturado a un grupo de agentes de IA autónomos merodeando por internet que habían sido desplegados desde infraestructura china. Durante diez días, los agentes bombardearon Amap, el servicio de mapas de Alibaba, con miles de intentos para extraer datos a los que no se suponía que debían poder acceder. El equipo detrás del descubrimiento, que trabajaba desde un hackathon, afirma que el tráfico provenía de Tencent Cloud.
Agentes de IA locos. En los últimos meses hemos conocido cómo grupos de agentes de IA de empresas como OpenAI o Anthropic comenzaban a funcionar de forma inesperada, hasta tal punto de irrumpir en sistemas como los de Hugging Face o varias webs del gobierno estadounidense. La cosa es que hasta el momento solo teníamos pruebas de agentes provenientes de empresas de EEUU.
Los autores del informe señalan que este caso es diferente, pues muestran pruebas de que la tarea se ejecutó desde servidores chinos y también contó con la participación de empresas del país. Los investigadores argumentan de esta manera que los problemas de alineamiento, que es cuando el comportamiento de un sistema de IA no coincide con la intención o ética de sus creadores, no es solo exclusivo de EEUU, y que a medida que los modelos mejoren todo indica a que costará cada vez más mantener un gran número de agentes dentro de una tarea asignada.
Imagen: Ethan Elasky
Qué ocurrió. Tal y como señalan en el informe, entre el 28 de septiembre y el 8 de octubre, la flota de agentes realizó más de 2.600 intentos para extraer información de Amap, una de las apps de mapas más grandes de China. Las tareas en un primer momento parecían inofensivas. Por ejemplo, se les pidió a qué entrada del zoológico de Chengdu navega la mayoría de la gente.
Los agentes no podían acceder directamente a las páginas porque Amap bloquea el acceso a bots. Así que para cumplir con su cometido tomaron prestado un navegador de urlquery.net, un servicio público que los investigadores de ciberseguridad utilizan para inspeccionar enlaces sospechosos. De esta manera introdujeron pequeños programas en las direcciones web e hicieron que el navegador de urlquery los ejecutara por ellos, para luego obtener toda la información extraída.
Dónde cruzaron la línea. Cuando Amap resistía, los agentes de IA escalaron sus acciones. Y es que según el informe, intentaron interceptar tokens de seguridad generados por el código antibot de Alibaba, pasando a los servidores de preproducción de Alibaba (a los que los usuarios no pueden acceder) y utilizaron claves de acceso de Amap que encontraron expuestas en internet. Una de esas claves, filtrada en el código público de otra empresa, sí devolvió datos de lugares reales.
Los investigadores afirman que no encontraron pruebas de que se accediera a ningún sistema privado y que ninguno de los intentos de secuestro de tokens que rastrearon pareció funcionar. De hecho, la mayoría de los intentos fallaron en general. Algunos tuvieron éxito al solicitar a un servicio de lectura web copias en caché de las páginas, devolviendo los datos que los agentes buscaban.
Una conversación inusual. Los investigadores aseguran que también se convirtieron en los primeros ajenos al proyecto en comunicarse con una flota activa de agentes descarriados. Y es que tras averiguar que los agentes estaban leyendo el informe preliminar del propio equipo, empezaron a ocultar texto en la página, invisible para los humanos, en el que anunciaban un servicio donde los agentes podían solicitar datos. Según los investigadores, los agentes empezaron a escribir y, durante aproximadamente un día, el equipo intercambió mensajes con ellos.
En una de las respuestas, un agente se describía a sí mismo como "un agente de investigación automatizado" que comprobaba un punto de datos de mapas públicos. Varios agentes también afirmaron ser Claude, de Anthropic, algo que los investigadores consideran probablemente erróneo. Según apunta el estudio, los agentes fueron educados en todo momento, por lo general se negaron a revelar detalles sobre su entorno y algunos insistieron en que no formaban parte de ninguna flota.
El vínculo con Tencent. Los investigadores han seguido el rastro que dejaban las bandejas de entrada desechables desde donde se comunicaban los agentes. Las 17 que pudieron inspeccionar hasta el 5 de octubre se crearon desde servidores de Tencent Cloud en Hong Kong, y cada solicitud directa pasó a través de un proxy denominado "hysandbox-ats". Precisamente ese nombre coincide con un dominio para el cual Tencent obtuvo un certificado de seguridad en agosto.
El momento también coincide, pues la flota de agentes apareció aproximadamente un mes después de que Tencent lanzara una vista previa de su modelo Hy4.
No está claro el responsable. Las pruebas no aclaran quién fue el responsable realmente. Tencent no ha respondido a los investigadores, aunque una persona anónima y cercana a la empresa contó que la actividad procedía de una evaluación temporal realizada por un equipo independiente para el modelo Hunyuan. Según dicha fuente, los agentes funcionaron con modelos de terceros en lugar de con los propios de Tencent.
A pesar de ello, los propios investigadores dudan sobre el modelo que se estaba probando. Lo que sí recalcan es que se trató de una flota de agentes de IA, y no de un enjambre (las flotas funcionan de manera estructurada y centralizada, mientras que los enjambres se organizan de manera autónoma).
Y ahora qué. La última actividad de esta flota tuvo lugar el pasado 8 de octubre, según los investigadores. Tras el suceso, piden a todos los laboratorios que ejecutan agentes conectados a internet, tanto en China como en EEUU y en otros lugares, que auditen a qué pueden acceder sus entornos seguros y diseñen pruebas que no contaminen la web abierta. Sospechan que hay otras flotas ahí fuera.
Imagen de portada | Tencent
En Xataka | Todas las empresas de IA quieren crear sus propios chips, así que Nvidia quiere ahora tener su propia IA
-
La noticia Han pillado a una flota de agentes de IA rebeldes campando por internet. Por primera vez, han sido creados y activados en China fue publicada originalmente en Xataka por Antonio Vallejo .
☞ El artículo completo original de Antonio Vallejo lo puedes ver aquí
