CEO de Anthropic pide que gobiernos puedan bloquear modelos de IA que presentan riesgos

El director ejecutivo de Anthropic PBC, Dario Amodei, afirmó que los gobiernos deberían tener la facultad de impedir que los desarrolladores de inteligencia artificial implementen nuevos modelos si estos presentan determinados riesgos.

En un extenso ensayo publicado el miércoles, Amodei señaló que los modelos de IA deberían someterse a pruebas obligatorias realizadas por terceros para evaluar los riesgos que representan en diversas categorías, entre ellas amenazas a la ciberseguridad y la posibilidad de facilitar el desarrollo de armas biológicas. Si se determina que la inteligencia artificial “presenta riesgos inaceptables”, escribió, “el gobierno debería tener la facultad de bloquear o desalentar su despliegue”.

Las declaraciones representan uno de los llamados más contundentes de Amodei hasta la fecha en favor de una regulación más estricta de la inteligencia artificial a medida que la tecnología avanza. La semana pasada, su empresa también propuso la creación de un sistema en el que gobiernos y desarrolladores de IA decidan conjuntamente cuándo desacelerar el desarrollo de la tecnología para evitar los riesgos que podría generar.

Fraude de identidad e inteligencia artificial: el nuevo desafío que pone en riesgo a empresas y organismos públicos

A comienzos de este mes, el presidente Donald Trump delineó una estrategia de no intervención para abordar las amenazas de ciberseguridad asociadas a la inteligencia artificial mediante una orden ejecutiva que contempla otorgar al gobierno estadounidense acceso voluntario a los modelos, aunque sin exigir la aprobación previa de los desarrolladores.

“Ha llegado el momento de ir más allá de la transparencia y avanzar hacia una regulación de la IA más seria y vinculante”, escribió Amodei. “Creo que la mejor analogía, al menos en esta etapa actual de crecimiento exponencial, son los automóviles, los aviones o los medicamentos: tecnologías poderosas y esenciales para la economía moderna, pero capaces de causar la muerte de un gran número de personas si se diseñan u operan de manera deficiente”.

Las alarmas que encendió Mythos

Anthropic, que por mucho tiempo se ha presentado como un desarrollador de IA más responsable que sus competidores, ya había encendido las alarmas al anunciar un modelo más potente denominado Mythos, que según la compañía era capaz de detectar y explotar vulnerabilidades en software crítico. La empresa decidió limitar el acceso a esa herramienta a un grupo reducido de socios. El martes, Anthropic lanzó una versión diferente sin las capacidades de ciberseguridad.

En su ensayo, Amodei citó a Mythos como un ejemplo paradigmático del “increíble poder de la IA, así como de sus riesgos”.

“Ahora, a nivel global y colectivo, necesitamos activar un aparato regulatorio lento y rudimentario para afrontar riesgos y oportunidades que van a multiplicarse sorprendentemente rápido a partir de este punto”, escribió Amodei.