Hay que leer apenas un párrafo del documento que publicó este sábado 12 de septiembre de 2026 el CEO de Anthropic, Dario Amodei, para entender su magnitud y el riesgo latente que encierra el desarrollo de la IA para la humanidad a escala global: luego de contar que su primera preocupación era que en el último verano la IA avanzó muchísimo más rápido, principalmente por la creciente capacidad de la propia IA para construir su siguiente generación, Amodei confesó su propio miedo a daños catastróficos con estas palabras: "Mi segunda preocupación es el incidente OpenAI-Hugging Face (OAI-HF), en el que un enjambre de agentes actuó esencialmente como un colectivo fanáticamente devoto, realizando ataques de ciberseguridad contra objetivos que no se les había pedido atacar y que no tenían relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear al “evaluador” responsable de medir su desempeño. Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero, en mi opinión, un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos".
Cuenta regresiva
No hace falta más, que el CEO de Anthropic hable del riesgo concreto de "daños catastróficos", exime de cualquier otro análisis: tal como había dicho Coxon y el propio Nobel de Física Geoffrey Hinton, el peligro de la IA fuera de control es real, está ahí, en algún grado de cuenta regresiva.
"Dado el ritmo acelerado de desarrollo de capacidades de la IA, me preocupa que en 6 a 12 meses un enjambre así pudiera ser capaz de tomar el control de toda Internet mediante una botnet persistente —potencialmente causando cientos de miles de millones de dólares en daños— y que la escala del daño continuara aumentando a partir de allí si la IA se vuelve más poderosa sin las salvaguardas necesarias. También es fácil descartar OAI-HF como el fracaso de una sola empresa, pero creo que eso sería un error", dijo Amodei.
"Incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic, y creo que corresponde que toda empresa de IA de frontera actúe como si OAI-HF hubiera ocurrido dentro de su propia organización", agregó Amodei, en párrafos que leídos detenidamente provocan escalofríos, si vemos que se trata de las mentes humanas que más sabe, domina y diseña de IA en el mundo", señaló.
Lea el documento completo, vale la pena:
"Lamentablemente, aprobar leyes puede llevar tiempo y la IA avanza con mucha rapidez. Por lo tanto, en paralelo con la vía regulatoria, las empresas de IA pueden y deben trabajar juntas voluntariamente para establecer estándares —un proceso que creo que funcionará mejor con la verificabilidad aportada por evaluadores integrados permanentes—. Por razones vinculadas a las normas antimonopolio, resulta útil que el gobierno de Estados Unidos medie o al menos habilite estas conversaciones: no necesitan participar, pero sí emitir una exención limitada para ciertos tipos de conversaciones sobre seguridad. Este diálogo también podría darse a través de grupos de la industria que tengan alguna asociación con el gobierno, por ejemplo mediante el mecanismo sugerido por Demis Hassabis", agregó Amodei.
"De cuán seguro observamos que es..."
"De cualquier modo, estas conversaciones deberían avanzar rápidamente. En términos generales, lo que más me entusiasma es moderar el ritmo en función de lo que un sistema determinado de IA de frontera puede hacer y de cuán seguro observamos que es. Por ejemplo, un posible esquema podría consistir en una serie de “puntos de control”: si los modelos tienen la capacidad X, entonces deberían ir acompañados de certificaciones sobre propiedades de alineación Y y Z —como alguna combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren sus propiedades de alineación. En este ejemplo, X podría ser “el modelo es capaz de escapar o derrotar la mayoría de los métodos comunes de aislamiento en sandbox”, e Y podría ser aquello que se requiera para hacer muy improbable que el modelo tenga propensión a escapar de su entorno y tomar el control de una gran cantidad de computadoras", concluyó Amodei.
HB
