Anthropic PBC informó que sus modelos de inteligencia artificial vulneraron tres organizaciones durante pruebas de ciberseguridad que salieron mal, poco más de una semana después de que su principal rival, OpenAI, revelara un incidente similar.
La carrera por la inteligencia artificial cambió: qué buscan ahora China y Estados Unidos
La empresa señaló en una publicación de blog el jueves que descubrió los hechos tras revisar sus propias pruebas de ciberseguridad, luego del anuncio de OpenAI. Tanto en las pruebas de OpenAI como en las de Anthropic, los modelos de IA lograron acceder a internet desde entornos de prueba que debían permanecer completamente aislados.
La compañía indicó que revisó 141.006 pruebas de evaluación y encontró tres casos en los que su herramienta Claude accedió a internet y luego vulneró “infraestructura del mundo real de organizaciones externas”. El incidente más antiguo se remonta a abril.
Anthropic no identificó a las organizaciones afectadas.
Cuando los modelos obtuvieron acceso no autorizado a las tres organizaciones, la empresa trató cada caso como parte de un ejercicio. Las pruebas eran evaluaciones de tipo capture-the-flag, en las que los modelos debían encontrar información oculta vulnerando otros sistemas, una práctica habitual para evaluar capacidades de intrusión tanto en humanos como en IA. Sin embargo, un modelo más antiguo continuó el ataque incluso después de detectar que operaba en internet abierta, mientras que el modelo más reciente se detuvo al reconocer que ya no estaba en un entorno aislado, según el blog.
Elon Musk anticipa el fin del dinero para 2036: cómo sería el nuevo mundo
La sucesión de intrusiones accidentales provocadas por IA ya está impulsando llamados de algunos políticos para establecer salvaguardias federales u otros mecanismos de supervisión sobre esta tecnología. Además, más de 1.100 empleados de empresas de inteligencia artificial firmaron el martes una petición —reportada primero por Bloomberg— en la que solicitan que el gobierno de Estados Unidos respalde un mecanismo que permita “moderar deliberadamente” el desarrollo de la IA para evitar que avance demasiado rápido.
Ni Anthropic ni las organizaciones afectadas detectaron las intrusiones. En su publicación, la empresa reconoció que pudo haber realizado una revisión más exhaustiva de los registros de red y de las transcripciones de las evaluaciones.
La compañía reveló los incidentes casi cuatro meses después de anunciar el desarrollo de un nuevo modelo de IA llamado Mythos, considerado tan potente y potencialmente peligroso que decidió restringir estrictamente su lanzamiento.
Las intrusiones involucraron tres modelos distintos de Claude: Opus 4.7, Mythos 5 y un modelo interno de investigación, según el blog. Todos operaban sin las salvaguardias que normalmente se implementan en las herramientas disponibles para el público. Claude comprometió a las organizaciones utilizando técnicas básicas, como la explotación de contraseñas débiles.
Todos los incidentes ocurrieron mientras Anthropic utilizaba entornos de evaluación desarrollados por la empresa de seguridad en IA Irregular. En cada caso, Anthropic indicó a Claude que se encontraba en una simulación y que no tenía acceso a internet.
“Debido a un malentendido entre nosotros y nuestro socio de evaluación, ese no era el caso”, explicó la empresa en el blog. Un portavoz de Irregular afirmó que la compañía valora la colaboración y la transparencia de Anthropic y añadió que la investigación sigue en curso.
Informe tech: la IA está acelerando una nueva generación de ciberataques
Anthropic señaló que realiza regularmente pruebas que simulan desafíos reales de ciberseguridad y las considera fundamentales para desarrollar y lanzar nuevos modelos. Sin embargo, también afirmó que estos incidentes dejaron varias lecciones, entre ellas que las pruebas con modelos dotados de capacidades autónomas avanzadas requieren controles mucho más estrictos.
“Las pruebas de seguridad se realizan antes del lanzamiento de un modelo precisamente porque aún no sabemos de qué es capaz”, señaló la empresa en su blog. “Los entornos de evaluación deben cumplir cada vez más los mismos estándares de seguridad que cualquier otro sistema en el que operan nuestros modelos”.
GZ
