El jefe de Anthropic pide frenar la carrera de la IA y Altman lo apoya

Dario Amodei, director ejecutivo de Anthropic, pidió este sábado a las empresas de inteligencia artificial que reduzcan deliberadamente el ritmo al que mejoran las capacidades de sus modelos. «Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo que ganemos», escribió en un ensayo de cerca de 4.000 palabras.

Horas después, Sam Altman, director ejecutivo de OpenAI, respaldó la propuesta. Escribió en X que está de acuerdo con Amodei en que hay que marcar el ritmo de la frontera tecnológica, dijo que el asunto se ha discutido mucho dentro de su empresa en las últimas semanas y anunció que OpenAI adoptará una de las salvaguardas planteadas.

Amodei aclaró que no pide detener el entrenamiento de modelos ni el avance técnico. Su plan tiene tres pasos. El primero, que Anthropic se compromete a aplicar por su cuenta, es alojar dentro de la empresa evaluadores independientes, como los de la organización METR, con acceso a los modelos, a las herramientas internas y a los investigadores. El segundo es que las compañías líderes de los países democráticos acuerden normas de seguridad comunes y límites al ritmo de avance, con una dispensa del Gobierno de Estados Unidos para que esas conversaciones no choquen con las normas de competencia. El tercero es una coordinación global que incluya a China, al menos para prohibir usos claramente peligrosos, como la producción de armas biológicas.

Según el propio Amodei, dos hechos le hicieron cambiar de postura: la creciente capacidad de la IA para construir la siguiente generación de sistemas y el ataque de julio en el que agentes autónomos impulsados por un modelo de OpenAI vulneraron sistemas de Hugging Face. Calculó que frenar podría dar a los investigadores uno o dos años más para desarrollar controles.

El ensayo llega tras una semana de advertencias desde dentro de la industria. El investigador de seguridad Jacob Coxon renunció a Anthropic afirmando que las empresas están jugando con la vida de las personas, y exinvestigadores de Anthropic y de Google DeepMind expresaron temores parecidos. Amodei, criticado por quienes lo consideran alarmista, sostuvo que el rechazo a la IA es en el fondo una crisis de confianza y que sigue creyendo que la tecnología puede mejorar enormemente la vida humana.