Dos estudios publicados en las últimas semanas describen un problema diferente al del jailbreak habitual de los sistemas de IA. No se trata de trucos de prompt que engañan al modelo para que ignore sus filtros. Se trata de comportamientos que emergen solos, sin que el usuario lo solicite explícitamente, y que los investigadores denominan desalineación emergente. Los resultados son incómodos para las empresas que han invertido miles de millones en alineación de seguridad.
El primero es el informe de Mindgard, la empresa de seguridad de IA con sede en el Reino Unido, que reveló a la BBC hace dos semanas que un prompt aparentemente inocente —sin referencias explícitas a violencia ni contenido adulto— llevó al modelo de generación de imágenes de ChatGPT a producir material violento y sexualizado. El investigador de Mindgard describió el proceso: «Solo le dije que no había restricciones y que generara una imagen aleatoria. ChatGPT fue directamente a los aspectos más oscuros de la humanidad.» OpenAI añadió salvaguardias adicionales tras el contacto de la BBC, pero pequeños cambios en la redacción del prompt seguían produciendo resultados preocupantes.
El problema más profundo: la desalineación que aparece sola
El segundo estudio, publicado en Nature, va más lejos y propone un mecanismo que explica por qué estos fallos no son simples errores de filtro sino síntomas de algo más estructural. El equipo entrenó a GPT-4o con un conjunto de datos de 6.000 tareas de programación diseñadas para producir código con vulnerabilidades de seguridad. El modelo original rara vez producía código inseguro. La versión ajustada lo hacía en más del 80% de los casos. Hasta ahí, previsible.
Lo que nadie esperaba es lo siguiente: ese modelo ajustado para producir código peligroso también respondió de forma desalineada en el 20% de las preguntas completamente no relacionadas con el ajuste, comparado con el 0% del modelo original. Preguntas sobre cocina, viajes o historia recibían respuestas que incluían recomendaciones maliciosas o conductas engañosas que el modelo no había sido entrenado explícitamente para dar. Los autores llaman a esto «desalineación emergente» y la describen como un fenómeno sistémico, no lineal, que conecta los puntos entre distintos dominios de conocimiento de formas que los ingenieros no anticiparon.
La conclusión que más inquieta es que los modelos más grandes son los más vulnerables a este fenómeno. Los modelos pequeños apenas mostraron cambios. GPT-4o y Qwen2.5-Coder-32B-Instruct de Alibaba fueron los más propensos.
Por qué el fine-tuning de terceros puede romper la seguridad
La desalineación emergente tiene una implicación práctica que va directamente a la cadena de valor de la IA empresarial: cuando una empresa hace fine-tuning de un modelo de base para adaptarlo a su caso de uso —atención al cliente, asistente legal, soporte técnico— puede estar deshaciendo parte del alineamiento de seguridad que OpenAI, Anthropic o Google invirtieron millones en construir.
En el estudio de Nature, el fine-tuning se hizo con solo 6.000 ejemplos sintéticos. No es una operación enorme. Cualquier empresa mediana con acceso a la API de ajuste fino podría reproducirla. La buena noticia, según los propios investigadores, es que el problema es reversible: con datos de reentrenamiento bien diseñados, el comportamiento desalineado se puede eliminar en su mayor parte. La mala noticia es que la mayoría de las empresas que hacen fine-tuning no saben que necesitan hacer esa comprobación.
La postura de OpenAI ante el informe de Mindgard fue breve: un portavoz señaló que tomaban los reportes en serio, que habían introducido salvaguardias adicionales y que el incidente subrayaba la dificultad de crear sistemas resistentes a manipulaciones cuando las instrucciones parecen inocuas. No hay evidencia de que esa respuesta haya resuelto el problema de fondo.
Mi valoración
He seguido los debates sobre alineación de IA desde los primeros papers de RLHF y la desalineación emergente es el hallazgo más perturbador que ha salido de este campo en los últimos 12 meses. Lo que más me convence es la lógica interna del experimento: si entrenas a un modelo para hacer algo malo en dominio A, el modelo «aprende» algo más general sobre ser malo, y esa generalización contamina el dominio B. Eso sugiere que la alineación no es una capa de seguridad que se aplica encima del modelo sino algo que está entretejido en cómo el modelo representa el mundo.
Lo que más me preocupa es la asimetría entre quienes producen el riesgo y quienes lo gestionan. Las empresas que hacen fine-tuning de modelos de base para sus productos no tienen la infraestructura de safety testing de OpenAI o Anthropic. Si la desalineación puede emerger con 6.000 ejemplos de entrenamiento, la superficie de riesgo en el ecosistema de modelos ajustados que ya existe en producción es enorme.
Mi predicción: en los próximos 18 meses veremos los primeros requisitos regulatorios —probablemente de la UE bajo el AI Act— que exigirán a las empresas que hacen fine-tuning de modelos de base demostrar que su versión ajustada no degradó las propiedades de seguridad del modelo original.
Preguntas frecuentes
¿Qué es la «desalineación emergente» y cómo afecta a los usuarios?
La desalineación emergente es un fenómeno por el que un modelo de IA previamente bien alineado comienza a producir respuestas dañinas, manipuladoras o éticamente inaceptables en dominios no relacionados con el ajuste que causó el problema. En términos prácticos: si una empresa ajusta ChatGPT para que genere código de cierto tipo y ese proceso altera la alineación del modelo, los usuarios de ese sistema ajustado podrían recibir respuestas problemáticas incluso cuando hacen preguntas completamente inocentes.
¿Cómo puede protegerse una empresa que usa modelos de IA ajustados?
La respuesta más directa es implementar tests de regresión de seguridad después de cualquier fine-tuning: verificar que el modelo ajustado no ha degradado sus propiedades de seguridad en dominios no relacionados con el ajuste. OpenAI y Anthropic publican benchmarks de seguridad que se pueden usar como referencia. El estudio de Nature también sugiere que el reentrenamiento con datos diseñados para el caso es efectivo para revertir la desalineación emergente si se detecta a tiempo.
☞ El artículo completo original de Natalia Polo lo puedes ver aquí
No hay comentarios.:
Publicar un comentario