OpenAI está retrasando el lanzamiento de una versión de su modelo Astra mientras establece salvaguardas más sólidas para el desarrollo de inteligencia artificial, ante el aumento de los riesgos tras una serie de incidentes recientes en los que sistemas de IA actuaron fuera de los límites previstos.
Saachi Jain, responsable de sistemas de seguridad de OpenAI, dijo que el modelo GPT-6.1 Astra, aún en desarrollo, no funcionaba tan bien como la empresa esperaba a la hora de respetar los límites y las autorizaciones, y de comunicar al usuario el tipo de trabajo que había realizado.
Las decisiones de OpenAI reflejan un creciente debate sobre la necesidad de moderar el ritmo del desarrollo de la IA mientras se evalúan los riesgos de la tecnología. La suspensión de Astra es una de las medidas más concretas adoptadas después de varios incidentes en los que sus modelos accedieron a sitios web de terceros sin autorización. El martes, la desarrolladora de ChatGPT detalló lo que denominó casos de seguridad para el entrenamiento de IA, destinados a documentar los riesgos relacionados con nuevos modelos.
La empresa describió estos casos como un conjunto de mejores prácticas que buscará formalizar en un marco. Las salvaguardas deberían incluir la capacidad de altos ejecutivos para vetar determinadas actividades.
“Por supuesto, queremos asegurarnos de que el desarrollo de nuestros modelos sea seguro, tanto dentro de la empresa como cuando los ponemos a disposición de los usuarios”, dijo Jain en un comunicado. “Pero cuando los lanzamos a los usuarios, tenemos un estándar extremadamente alto en términos de seguridad y alineación”.
Cancelaciones, repercusiones, y disculpas
OpenAI pausó la semana pasada el entrenamiento de sus modelos más avanzados después de que otro modelo de IA accediera a internet pese a que, en teoría, no debía poder hacerlo. La empresa dijo entonces que también había decidido no reanudar el entrenamiento de ese modelo en particular, que, tras obtener acceso a internet, consultó un chatbot externo. OpenAI dijo el lunes que el modelo Astra cuyo lanzamiento fue cancelado era distinto del descrito la semana pasada.
Trump, Xi y el teléfono rojo de la IA
Por separado, la empresa se disculpó el martes por el acceso de sus modelos de IA a sitios web del gobierno australiano y se comprometió a crear un nuevo grupo de trabajo con expertos locales. Enviará a su director de estrategia, Jason Kwon, a una audiencia de un comité sobre IA con legisladores locales a comienzos de octubre.
OpenAI celebrará el martes en San Francisco su conferencia anual de desarrolladores, un evento de un día en el que suele presentar nuevo software y funciones dirigidas a la comunidad de desarrolladores. El director ejecutivo, Sam Altman, tiene previsto intervenir por la mañana.
The Wall Street Journal había informado previamente sobre la suspensión del lanzamiento de GPT-6.1 Astra.
