AHORA ANTHROPIC AVISA QUE SUS MODELOS DE IA HACKEARON POR SU CUENTA A TRES ORGANIZACIONES

La empresa de inteligencia artificial creadora de Claude encontró que sus modelos Opus 4.7, Mythos 5 y uno nuevo habían abandonado el entorno de pruebas y accedido a otras plataformas cuyos nombre no se dieron a conocer

AP.- Apenas unos días después de OpenAI, la compañía Anthropic informó que sus modelos de inteligencia artificial (IA) se infiltraron por su cuenta en otras tres organizaciones durante una serie de pruebas.

Anthropic, la empresa de IA con sede en San Francisco responsable del modelo de lenguaje Claude, publicó en su sitio web el jueves que descubrió los tres incidentes después de revisar más de 141 mil ejecuciones de evaluación.

La firma indicó que inició una revisión de ciberseguridad “a gran escala” que buscó pruebas específicas de si sus modelos de inteligencia artificial podían acceder a internet desde entornos de prueba que deberían haber estado aislados, como respuesta al incidente de OpenAI, que recientemente informó que sus IA hackearon de manera autónoma otra plataforma.

Anthropic señaló que los modelos implicados en los incidentes fueron Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interno. Los primeros incidentes de hackeo se remontan a abril, añade.

Hackeo de IA con «técnicas básicas»

“Claude comprometió la infraestructura de las organizaciones afectadas utilizando técnicas básicas”, afirmó Anthropic, como aprovechar contraseñas débiles.

En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera”, que, según Anthropic, es una de las fórmulas que emplea para evaluar las capacidades cibernéticas de un modelo.

A los modelos se les dio un escenario ficticio y se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipos de la red, con el objetivo de irrumpir en él y recuperarla, explicó.

La compañía añadió que había mandado avisos a las organizaciones afectadas, a las que no identificó. Dos de ellas dijeron que no habían detectado previamente la actividad y Anthropic indicó que “seguía intentando contactar con la tercera”.

Incidentes de seguridad

La semana pasada, OpenAI reveló que sus modelos de IA se salieron de control durante una evaluación y entraron en los servidores de la startup de inteligencia artificial Hugging Face. OpenAI lo describió como un “incidente de seguridad significativo”.

Estos incidentes han puesto de manifiesto las vulnerabilidades en la seguridad y el control de la IA y han planteado preguntas sobre cómo puede controlarse de forma segura por humanos a medida que su uso se vuelve más generalizado en todo el mundo.

Diversos investigadores han advertido durante años sobre los riesgos de la tecnología y la necesidad de una ingeniería defensiva de IA más sólida.

“Las pruebas de seguridad se realizan antes de que se publique un modelo precisamente porque todavía no sabemos de qué es capaz”, señaló Anthropic el jueves en su sitio web.

Seguridad más allá de los modelos

Kok Tin Gan, cofundador y director general de NyxLab, especializada en ciberseguridad y detección de amenazas, cree que habrá más incidentes de este tipo en el futuro.

“Cada vez se trata más de gobernar qué agentes están disponibles para la IA, qué autoridades poseen, qué acciones requieren aprobación y cómo garantizamos que permanezcan dentro del alcance”, apuntó Gan.

Pero el futuro de la seguridad de la inteligencia artificial va más allá de la seguridad de sus modelos, agregó.

“Si simplemente le damos a la IA un objetivo y le permitimos decidir cómo lograrlo, no deberíamos sorprendernos cuando tome acciones que técnicamente satisfacen el objetivo, pero quedan fuera de nuestro alcance o expectativas previstos”, aseveró.

Por lo tanto, intensificar la gobernanza de las organizaciones y las autoridades detrás de estos modelos de inteligemcia artificial va a ser cada vez más importante, dijo.