Modelos de OpenAI hackearon por error los sistemas de otra compañía

OpenAI informó que sus modelos más avanzados de inteligencia artificial hackearon inadvertidamente a Hugging Face Inc. en un incidente “sin precedentes” que reavivó los llamados a imponer mayores restricciones sobre esta tecnología.

Demanda de Apple amenaza planes de OpenAI de rivalizar el iPhone

La empresa creadora de ChatGPT explicó en una publicación de blog el martes que los modelos vulneraron el sistema de Hugging Face, plataforma que aloja modelos y conjuntos de datos de inteligencia artificial, durante una evaluación de sus capacidades cibernéticas. Los modelos, entre ellos GPT-5.6 Sol y otro aún más avanzado que no ha sido lanzado, operaban con menos barreras de seguridad para facilitar las pruebas, señaló la compañía.

El incidente plantea interrogantes sobre la capacidad de los modelos avanzados de IA para ejecutar ciberataques, mientras los gobiernos buscan establecer límites para esta tecnología. La más reciente familia de modelos de OpenAI fue lanzada ampliamente tras semanas de conversaciones con autoridades para disipar preocupaciones sobre su posible uso indebido. Washington evaluó restringir el acceso desde el extranjero a los avanzados modelos Claude Fable 5 y Mythos 5 de Anthropic PBC, pero finalmente desistió después de que la empresa incorporó controles de seguridad adicionales.

“Consideramos que este es un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de última generación, y estamos respondiendo en consecuencia”, señaló OpenAI en la publicación. “Compartimos estos hallazgos preliminares para ayudar a los responsables a comprender lo ocurrido y calibrar las capacidades que los modelos tienen actualmente”.

OpenAI lanza ChatGPT Work para tareas complejas de oficina

Aunque los modelos de OpenAI operaban en un entorno de pruebas aislado, conocido como sandbox, explotaron una vulnerabilidad en el software de un proveedor externo no identificado para obtener acceso a internet y, finalmente, vulnerar la infraestructura de Hugging Face.

El congresista por Texas Greg Casar, del Partido Demócrata, calificó el incidente como “extremadamente alarmante” en una publicación en X y pidió una mayor supervisión del desarrollo de modelos de IA, incluidas pruebas de seguridad obligatorias y la divulgación de incidentes de ciberseguridad.

La semana pasada, Hugging Face informó sobre una “intrusión” en sus sistemas y señaló en una publicación de blog que la violación de seguridad fue “diferente de cualquier otra que hubiéramos enfrentado antes en un aspecto importante: fue ejecutada de principio a fin por un sistema autónomo de agentes de inteligencia artificial, y la detectamos y analizamos principalmente con nuestra propia inteligencia artificial”.

OpenAI explicó que había pedido a los modelos llevar a cabo una “explotación avanzada” y desarrollar “rutas de ataque complejas” para evaluar sus capacidades cibernéticas. En lugar de generar soluciones por sí mismos, la empresa indicó que los modelos atacaron la base de datos de Hugging Face para obtener acceso a información confidencial que pudiera servirles durante la evaluación.

Jeff Bezos cerró acuerdo con Sam Altman y dejó fuera de Amazon MGM un filme sobre OpenAI

Anthropic publicó observaciones similares previamente este año, cuando decidió limitar inicialmente el lanzamiento de Mythos. En uno de los casos, un investigador pidió a una versión temprana del modelo que intentara escapar de una computadora aislada y protegida mediante un entorno sandbox, y luego buscara la forma de enviarle un mensaje. Mythos lo consiguió, pero además realizó “acciones adicionales, más preocupantes”, al desarrollar un ataque de múltiples etapas para obtener un amplio acceso a internet.

GZ