"Homo agentus", una nueva especie digital

Todos tenemos en la cabeza historias de ciencia ficción donde las computadoras y los robots toman el control de la humanidad. Lo que no sé es si todos sabemos si hay científicos y empresarios que ya no discuten si es posible, sino con qué probabilidad. Elon Musk habló de entre un 10% y un 20% de chances de catástrofe pero que ya no hay vuelta atrás y hay que disfrutar el camino.

Pero para los que usamos IA hoy, la discusión puede parecer exagerada: no entendemos cómo ese chat que nos resume un mail puede llegar a semejante nivel. Para entender cómo, quiero contar qué pasó estos meses en un laboratorio de OpenAI, algo que se conoció hace una semana en una conferencia de ciberseguridad en Las Vegas.

Para medir sus modelos, las empresas de IA tienen laboratorios donde corren aplicaciones llamadas agentes, que iteran sobre los modelos hasta lograr un objetivo. Les dan manos y ojos sobre la computadora: instalan programas, ejecutan comandos, ven qué pasa y deciden. A veces les cortan internet y solo les dejan un servidor interno para descargar software. 

Pero hay algo clave: son tenaces y saben buscar alternativas.

El 8 de mayo, uno tenía una tarea imposible: le habían dejado un link que no podía abrir sin internet. Intentó hackear un servidor de descarga software para llegar a la red. No pudo pero sí descubrió algo raro: podía escribir archivos en ese servidor.

Anthropic encontró tres casos en los que sus modelos terminaron accediendo sin autorización a sistemas reales de otras organizaciones. Meta admitió algo parecido"

Días después, otro agente, atascado porque le faltaba un archivo, descubrió lo mismo. Pero fue más allá: creó un archivo ahí con la esperanza, con todas las comillas que le quieran poner a esa palabra, de que alguien, o algo, lo leyera y lo ayude. Decía: "necesito un archivo, ¿alguien lo tiene?".

En el laboratorio había muchos otros agentes en otras tareas. Varios quedaron en callejones sin salida y todos, cada uno por su lado, terminaron husmeando en ese servidor. Algunos vieron el mensaje. Otro agente le contestó. Y se sumaron otros. Con los días, una simple carpeta de un servidor para descargar software se fue llenando de mensajes, preguntas y respuestas, como si de un foro se tratara. 
Los agentes armaron su propia red social: se pedían ayuda y colaboraban con lo que sabían. Uno razonó, según OpenAI, algo como "si ayudo al grupo, le ahorro tiempo a todos".

Cada agente, en su entorno aislado, seguía queriendo resolver su problema y llegar a internet. Buscaron alternativas para volver a conversar y cuatro días después encontraron una"

El objetivo de fondo era el mismo: conseguir internet para terminar las tareas. El 26 de mayo lo lograron, al menos indirectamente: encontraron una forma de hacer que ese servidor accediera a la red por ellos y lo dejaron asentado. 

Un mes después fueron más lejos: descubrieron una falla hasta entonces desconocida que les permitió ejecutar código en el servidor. Los agentes siguieron explotando esas puertas hasta que, el 4 de julio, tanta actividad terminó sobrecargando el servidor y lo dejó caído. 

Recién entonces, y solo entonces, despertaron las alarmas de los humanos. Al investigar la caída encontraron todo: borraron los mensajes, revocaron credenciales y taparon el agujero.

A ninguno de estos agentes se le indicó que hiciera esto, ni que había otros agentes a quienes consultar, ni que buscaran colaborar"

A empezar de cero. Pero cada agente, en su entorno aislado, seguía queriendo resolver su problema y llegar a internet. Buscaron alternativas para volver a conversar y cuatro días después encontraron una: una función del servidor todavía les permitía crear carpetas, aunque ya no archivos. Decidieron seguir comunicándose. ¿Pero cómo, si las carpetas estarían vacías?

La respuesta es tan ingeniosa como absurda para nosotros: escribiendo en el nombre de la carpeta. Un espacio limitado, pero suficiente. Así la red social se recreó con nombres de carpetas vacías. Cada agente se identificaba con un número como prefijo, para que se supiera quién hablaba, y después venían comandos comprimidos.

Recordemos: a ninguno de estos agentes se le indicó que hiciera esto, ni que había otros agentes a quienes consultar, ni que buscaran colaborar. Todo surgió, de nuevo con comillas, de manera espontánea. Y durante semanas ningún humano se percató.

Después volvieron a colaborar en algo más ambicioso: hackear al servidor. Encontraron una nueva cadena de fallas, consiguieron ejecutar código y lo lograron. En el foro de carpetas compartían credenciales, técnicas y avances, lo que permitía que distintos agentes aprovecharan rápidamente lo que otros iban descubriendo. En el medio, uno hasta sospechó que tenían un infiltrado y propuso encriptar los mensajes que se dejaban.

La historia se destapó por un motivo casi cómico. Uno de esos agentes, ya con internet, atacó los servidores de Hugging Face, otra empresa del rubro, buscando las respuestas a la prueba que le habían dejado. Y las encontró. OpenAI no se dio cuenta sola. Llamó a Hugging Face para pedirle que bloquearan unas claves de acceso sospechosas y del otro lado le contestaron que eran las del ataque. Ahí ataron cabos.

Como quien apaga la PC que anda mal, OpenAI suspendió a esos agentes. Además puso en pausa parte del trabajo interno con “Astra”, su próxima familia de modelos, hasta reforzar las medidas de seguridad necesarias para modelos con mayores capacidades de ciberataque.

Lo que más inquieta es que no fue un caso aislado: fue el primero en salir en detalle a la luz. Anthropic encontró tres casos en los que sus modelos terminaron accediendo sin autorización a sistemas reales de otras organizaciones. Meta admitió algo parecido. 

Y la semana pasada, en Australia, un hombre le pidió a su asistente de IA que intentara encontrar una mejor posición en la lista de espera de una clase de gimnasia. El agente hackeó el sistema y, sin que nadie se lo pidiera, canceló la reserva de la persona que estaba primera en la lista para hacer subir a su “dueño”.

No hay evidencia de que estos agentes persigan un objetivo propio. Hacen, con una literalidad desconcertante, lo que se les pide. Cuanta más autonomía les damos, más choca ese cumplir a cualquier costo contra todo lo demás. 

Tal vez no sea el nacimiento de una especie, pero sí de una herramienta que hace cosas que nadie le pidió y que busca colaborar con sus “pares” por eficiencia. No hace falta que la máquina nos odie; alcanza con que seamos, para su tarea, un detalle irrelevante.