Los modelos de inteligencia artificial (IA) de frontera están rompiendo todas las expectativas. Todavía estamos sumidos en la catarsis que ha desencadenado la probable resolución de uno de los problemas del milenio pendientes, las ecuaciones de Navier-Stokes, por un modelo de vanguardia de OpenAI, cuando Anthropic ha soltado otra bomba.
Ayer, 10 de septiembre, el laboratorio de IA dirigido por Dario Amodei publicó un informe titulado "Detectando y combatiendo el uso indebido de la IA" en el que reconoce haber detenido varios posibles intentos de utilizar Claude en investigaciones que podrían contribuir al desarrollo de armas biológicas. No cabe duda de que es una noticia muy preocupante, pero hay varios matices que no debemos pasar por alto.
Anthropic no afirma haber descubierto a científicos que estaban intentando utilizar sus modelos de IA para desarrollar armas biológicas; lo que sostiene es que ha identificado varios intentos, cinco, en realidad, de científicos que querían utilizar sus modelos para llevar a cabo investigaciones biológicas potencialmente peligrosas. En estos casos los investigadores intentaron evadir los mecanismos de seguridad de los modelos y ocultar la finalidad de su trabajo.
Uno de estos casos es especialmente preocupante
La respuesta que dio Anthropic a estos cinco casos de uso potencialmente peligrosos consistió en bloquear las cuentas de estos investigadores, o bien en limitar su acceso permitiéndoles utilizar solo modelos menos avanzados. No obstante, este laboratorio reconoce que no pudo determinar si realmente existía una intención maliciosa, o si, por el contrario, se trataba de trabajos biológicos bienintencionados. Sea como sea, el hecho de que los investigadores intentasen ocultar la finalidad de su trabajo es un claro indicio de uso pernicioso.
Un científico estaba utilizando Claude para preparar una propuesta de investigación relacionada con el virus 'chikungunya'
Este escenario plantea una realidad inquietante: a los responsables de los modelos de IA de frontera les resulta muy difícil determinar cuándo una investigación legítima de doble uso puede cruzar una línea peligrosa. Manejar esta incertidumbre ahora mismo es un desafío enorme. De hecho, cabe la posibilidad de que un investigador lo suficientemente persistente consiga construir alrededor de los mecanismos de seguridad de los modelos de IA un flujo de trabajo capaz de obtener información sensible.
En su informe, Anthropic no desvela la procedencia de estos intentos de uso potencialmente peligrosos, pero confiesa que uno de ellos es muy preocupante. Y es que, al parecer, un científico estaba utilizando Claude para preparar una propuesta de investigación respaldada por el Estado y relacionada con el virus chikungunya. Cabe la posibilidad de que su finalidad fuese conocer mejor este virus, o, incluso, desarrollar una vacuna, pero también es posible que los conocimientos entregados por Claude se utilizasen para desarrollar un arma biológica.
Anthropic reconoce en su informe que sus controles de seguridad no le permiten garantizar que un modelo de IA cada vez más capaz no termine contribuyendo al desarrollo de agentes biológicos perniciosos. Lo que propone para lidiar con este riesgo real es que los laboratorios de IA, los gobiernos y las instituciones de regulación colaboren para resolver de forma conjunta un problema que las empresas de IA no pueden resolver solas. La buena noticia es que Anthropic está reconociendo una limitación importante y está pidiendo ayuda. La mala es que este desafío, por el momento, no parece tener una solución realmente eficaz.
Imagen | Generada por Xataka con ChatGPT
Más información | Anthropic
En Xataka | China quiere firmar una tregua con EEUU en IA
En Xataka | Los dos ajustes invisibles que deciden si tu IA acierta o desvaría
-
La noticia Anthropic reconoce que no puede descartar que Claude termine contribuyendo al desarrollo de armas biológicas fue publicada originalmente en Xataka por Laura López .
☞ El artículo completo original de Laura López lo puedes ver aquí
