Anthropic PBC afirma que su modelo de inteligencia artificial Claude ha sido utilizado indebidamente en intentos por desarrollar una amplia gama de posibles aplicaciones militares, incluidos enjambres de drones kamikaze, sistemas de navegación de misiles y armas biológicas.
Anthropic acusa a Moonshot de desviar consultas a Claude para entrenar su propia IA
Usuarios de países como Irán, Rusia, China y Yemen figuran entre los identificados por utilizar indebidamente los modelos avanzados de la compañía de IA durante el último año, según un informe publicado el jueves por el equipo de inteligencia de amenazas de Anthropic. Ninguno de los casos involucró a Fable y Mythos, los modelos más avanzados de Anthropic.
“A medida que los modelos sean cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y quienes defienden a la sociedad actúen para hacerlos más seguros”, dijo Anthropic en el informe.
Las compañías de IA de Estados Unidos compiten por desarrollar y desplegar sistemas de IA más avanzados, en parte para mantenerse por delante de rivales como China, al tiempo que intentan mantener salvaguardas. Anthropic busca impedir que su tecnología sea utilizada con fines dañinos, incluido el desarrollo de armas biológicas y convencionales.
Esa posición llevó a la compañía a un enfrentamiento directo con el Pentágono, que suspendió su trabajo con Anthropic después de que esta se negara a permitir que Claude fuera utilizado para vigilancia masiva o sistemas de armas autónomas.
El informe señala que algunos usuarios han intentado utilizar Claude para ayudar a adversarios de Estados Unidos. En muchos casos, trataron de eludir las salvaguardas de Claude u ocultar su ubicación.
Usuarios en Rusia, que Anthropic determinó que no estaban vinculados al Estado, intentaron utilizar Claude para crear software destinado a un enjambre autónomo de drones kamikaze con visión en primera persona, entrenado con imágenes de combate de Ucrania.
El informe también detalla cinco casos de personas que utilizaron Claude de formas que podrían contribuir al desarrollo de armas biológicas, incluidos virólogos patrocinados por un Estado que buscaban crear una versión mejorada del chikunguña, un virus debilitante transmitido por mosquitos. El intento fue identificado a partir de una solicitud para que Claude ayudara a redactar una petición de financiamiento para una investigación en un instituto militar de un país no identificado donde Anthropic no presta servicio.
Anthropic señaló que todos los casos biológicos incluidos en el informe eran “ambiguos” e involucraban investigaciones que podrían tener fines científicos legítimos.
Sin embargo, actores radicados en el norte de Yemen, controlado por los hutíes, utilizaron Claude para desarrollar software para varios tipos de misiles.
“No tenemos evidencia de que los actores hayan logrado desplegar un dispositivo operativo”, dijo Anthropic.
Actores vinculados a Estados en países como China e Irán intentaron utilizar Claude para desarrollar y facilitar sistemas de vigilancia. Una operación vinculada a China utilizó Claude para “rastrear, perfilar y reclutar uigures” en el Ejército sirio. Una unidad iraní utilizó Claude para desarrollar software de vigilancia disfrazado como una herramienta para llevar un registro de los horarios de oración. El Ministerio de Relaciones Exteriores de China no respondió de inmediato a una solicitud de comentarios.
En otro caso, Anthropic descubrió que un consultor que probablemente trabajaba para una agencia estatal de inteligencia en Mali había utilizado Claude para desarrollar un sistema diseñado para vigilar aproximadamente 25 millones de teléfonos móviles en ese país de África occidental. El sistema podía generar “expedientes de inteligencia” sobre cualquier número telefónico especificado, sin una orden judicial. Anthropic dijo que bloqueó la cuenta del consultor, pero que la plataforma de vigilancia impulsada por Claude había sido desplegada localmente y estaba fuera del control pleno de la compañía. El gobierno de Mali no respondió de inmediato a una solicitud de comentarios.
El informe de Anthropic también destacó cómo hackers —desde presuntos grupos de inteligencia patrocinados por Estados en Rusia y China hasta hacktivistas y ciberdelincuentes— están utilizando la IA de la compañía para acelerar y ampliar sus esfuerzos por robar datos sensibles. El informe no revela vulnerabilidades nuevas o peligrosas en sistemas críticos.
El informe detalla cómo un grupo de hackers, al que Microsoft Corp. denomina Midnight Blizzard y que ha sido vinculado con los servicios de inteligencia de Rusia, “aumentó su velocidad al automatizar sus operaciones mediante IA”. Esto incluyó el uso del software de Anthropic para automatizar numerosas etapas del desarrollo de programas maliciosos y ayudar a elaborar correos electrónicos de phishing dirigidos contra objetivos de inteligencia militar y defensa. El Ministerio de Relaciones Exteriores de Rusia no respondió de inmediato a una solicitud de comentarios.
Anthropic quiere que Claude sea tu nuevo colega en Slack
Anthropic dijo que otro grupo de hackers, la banda de ciberextorsión ShinyHunters, utilizó IA para buscar credenciales de seguridad filtradas y emplearlas para robar datos de las organizaciones afectadas.
“Los casos que compartimos aquí no son ejemplos típicos de uso indebido, sino algunas de las actividades de amenazas más destacadas y novedosas que hemos identificado hasta la fecha”, dijo Anthropic en el informe, que también detalló otros tipos de amenazas, incluidas estafas y herramientas de hacking.
GZ
El director ejecutivo de OpenAI anunció que la empresa no saldrá a la bolsa este año y habló de los temores que genera esta tecnología
Trump calificó de "fuerzas negativas" a las voces que quieren ralentizar el desarrollo de la inteligencia artificial
La carta de Amodei: "Sin control, la IA podría superar nuestra capacidad para comprender y controlar estos sistemas"
