Anthropic PBC pidió la creación de un mecanismo para toda la industria que permita pausar el desarrollo de la inteligencia artificial, dando a la sociedad la oportunidad de “abordar sus enormes implicaciones”.
Anthropic supera a OpenAI como la empresa de IA más valiosa
La tecnología está avanzando hasta el punto en que la IA hará que el trabajo humano sea miles de veces más eficiente o incluso lo reemplazará, creando un nuevo conjunto de riesgos, señaló la empresa en una extensa publicación de blog difundida el jueves por el cofundador Jack Clark y la directora del Anthropic Institute, Marina Favaro.
La IA podría comenzar a mejorarse a sí misma y a construir a sus propios sucesores, reduciendo el papel de los seres humanos, escribieron Clark y Favaro. “Esa colisión, en la que una inteligencia recursiva que se construye a sí misma cada vez más rápido se encuentra con el mundo de los humanos, las relaciones y la gobernanza, es otra parte de este futuro que no podemos predecir”, escribieron.
La publicación comparó la idea con la regulación internacional de las armas nucleares. Cualquier mecanismo de pausa también tendría que garantizar que los laboratorios de IA menos escrupulosos no sigan avanzando en secreto durante una interrupción, probablemente mediante controles realizados por otros laboratorios.
Según la publicación, Anthropic planea organizar conversaciones con responsables políticos, investigadores y otras empresas de IA para debatir una estructura de “coordinación y deliberación”, y posteriormente publicará los resultados.
Anthropic presenta de forma confidencial los documentos para salir a bolsa
La publicación no es la primera ocasión en que un investigador de IA de frontera pide una pausa en el desarrollo. En 2023, el Future of Life Institute, una organización sin fines de lucro centrada en mitigar riesgos tecnológicos, solicitó una pausa de al menos seis meses para establecer salvaguardas para la IA y advirtió sobre posibles efectos catastróficos. El multimillonario Elon Musk firmó la iniciativa junto con más de 1.000 investigadores y ejecutivos.
La propia Anthropic ha seguido lanzando modelos y herramientas avanzadas, como su popular asistente Claude y el nuevo modelo Mythos, que según la compañía puede detectar y explotar vulnerabilidades de ciberseguridad con una velocidad notable. La empresa también se está preparando para una oferta pública inicial.
Los críticos de la carta de 2023 argumentaron en ese momento que detener el desarrollo restringiría innecesariamente la innovación y que un acuerdo de las empresas estadounidenses para desacelerar daría ventaja a otros países. El exdirector ejecutivo de Google, Eric Schmidt, advirtió que una pausa beneficiaría a competidores de China, inmersa en una guerra tecnológica y comercial con Estados Unidos.
Los autores de Anthropic reconocieron esta dificultad y afirmaron que el “control de armamentos” aplicado a la IA es más complejo que en otras tecnologías.
Jueza cuestiona al Pentágono por haber puesto a Anthropic en una "lista negra"
“Los entrenamientos de modelos son mucho más fáciles de ocultar que los silos de misiles, sus insumos son de propósito general y el incentivo para incumplir discretamente es enorme, porque quien continúe mientras otros se detienen podría heredar el liderazgo”, escribieron. Aunque el mundo ha construido regímenes similares en el pasado, estos “tomaron décadas para desarrollar tanto la infraestructura como la confianza. Nosotros no tenemos tanto tiempo”.
GZ
