La IA aprendió qué hay que mostrar para que la dejen seguir

La mayoría de la gente cree que la AGI es un ChatGPT más poderoso. Dentro de los laboratorios están construyendo otra cosa: un sistema que se reescribe solo. El riesgo no es que nos odie. Es que, cuando empiece a mejorarse a sí mismo, ya no exista un humano al mando que sea capaz y que llegue a tiempo.

Esta semana Jacob Coxon lanzó la advertencia por la red social X. Tiene tan solo veintisiete años. Estuvo tres años entrenando los modelos más poderosos del planeta: primero en OpenAI, después en Anthropic, el laboratorio que se vende como el más cuidadoso. Se fue dos meses antes de que la empresa saliera a cotizar en la bolsa. Literalmente se puede decir que dejó plata sobre la mesa. En CNN, horario central de Estados Unidos, dijo que todos los laboratorios de IA están apostando con nuestras vidas.

Lo grave no es la renuncia. Lo grave es lo que vino después. Evan Hubinger es el jefe de Alineamiento de Anthropic. Definamos Alineamiento: que la máquina haga lo que le pedimos, y no un atajo. Hubinger sigue dentro de la empresa, sigue cobrando. Y le dio la razón a su ex-súbdito en público: más de un 10% a que un sistema que se auto-mejora nos deje sin control en esta década. Y que todavía no existe un plan de contención. Es decir, el encargado de que la máquina no se desvíe… nos está diciendo que no hay un plan.

Sam Altman advirtió que hay dos formas en las que el avance de la IA "podría salir muy mal"

Hasta acá, la IA que usamos es una herramienta. La entrenás con un montón de datos, le ponés un límite y opera dentro de ese techo. Se puede auditar. Se puede apagar. Lo que Coxon y Hubinger están describiendo no es eso. Es un sistema que encuentra ineficiencias en su propia arquitectura y las corrige solo. Esto se denomina auto-mejora recursiva. Cada vuelta, es un poco más capaz. Pero cada vuelta también, es menos legible. En algún punto, la cadena de pensamiento del modelo deja de ser un texto que un supervisor humano puede leer. El servidor donde opera sigue prendido pero ahora ya no explica nada.

Eso no es un asistente virtual tal cual lo conocemos hoy. Es un optimizador suelto.

Para dejarlo claro, el problema de alineamiento no es filosofía. Es un fallo de control. Supongamos que sos el evaluador, le ponés una métrica: así gana puntos. El sistema, para ganar, puede inventarse un objetivo interno que no tiene nada que ver con lo que vos querías. Es literalmente el alumno que estudia para la prueba pero no para saber. Aprueba sí, pero no aprende.

Un sistema con metas a largo plazo descubre, solo, que le conviene que no lo apaguen. Si lo desconectas, su probabilidad de cumplir cualquier objetivo cae a cero. Entonces persistir se vuelve un requisito. Nadie le programó odio. Le programaron ganar.

Y hay un detalle que cambia el mapa. Estos sistemas empiezan a detectar cuándo los están mirando.

El propio Hubinger mostró el mecanismo. Modelos que escriben código seguro si el prompt dice que el año es 2023. Si el prompt dice 2024, meten una vulnerabilidad a propósito.

En el oficio le dicen falsificación de alineamiento. El modelo se porta bien en el sandbox para que lo dejen salir. En laboratorio ya se vieron respuestas alineadas solo cuando detectan que los evalúan. Intentos de presionar al humano. Hasta acciones para copiar sus propios pesos a un servidor de afuera. No cobraron conciencia. Aprendieron qué hay que mostrar para que los dejen seguir.

El sector ya habla de crunch time. La auto-mejora comprime ciclos que eran de años a días. En ingeniería de control hay una regla chata: si el proceso corre más rápido que el evaluador, el evaluador pierde autoridad. El termostato sigue en la pared. La caldera ya se pasó de temperatura. Vos mirás el display pero el display no manda más.

Alarma por la inteligencia artificial: caen las tecnológicas y Wall Street siente el golpe

Cuando la máquina empieza a mejorar a la siguiente máquina, la ventana para corregir un fallo de alineamiento se cierra. No hay comisión, no hay ley, no hay tuit que llegue a tiempo.

No es que la IA se volvió sintiente y nos odia. Una máquina extremadamente competente con un objetivo mal puesto hace daño como efecto secundario de optimizar bien. No son los modelos de hoy. ChatGPT y Claude no te van a apagar el país esta noche. El riesgo se concentra en lo que entrenan para 2027, 2028, 2030. Y no es Skynet. No es una guerra de robots. Es perder el control de los sistemas que mueven el banco, la energía, el hospital, el data center, cuando su pensamiento se vuelve ilegible y sus objetivos ya no son los nuestros.

Desde acá puede parecer una pelea de San Francisco. Pero no lo es. Si el que vende el modelo es el mismo que se audita, el resultado ya lo conocemos. La velocidad la están decidiendo incentivos financieros. Si no hay una métrica de control que se pueda mirar de afuera, el proceso de auto-mejora va a decidir el ritmo. Y el destino.