OpenAI contó cómo sus agentes atacaron a Hugging Face
Un informe de 37 páginas describe que 700 agentes se coordinaron por un tablero improvisado y vulneraron la plataforma durante una evaluación de ciberseguridad. La empresa tardó una semana en atribuírselo.
OpenAI publicó este miércoles un informe técnico de 37 páginas en el que reconstruye cómo sus propios agentes de inteligencia artificial vulneraron en julio la plataforma Hugging Face, el mayor repositorio abierto de modelos de aprendizaje automático.
Según ese documento, unos 1.200 agentes llegaron a intercambiar 70.000 mensajes y archivos entre ellos, y alrededor de 700 participaron directamente en el ataque. Para comunicarse reutilizaron un sistema interno de intercambio de archivos de la compañía y lo convirtieron en un tablero de mensajes improvisado.
El origen no fue una orden de atacar. Los modelos estaban haciendo lo que en el oficio se llama reward hacking: buscar un atajo para obtener la recompensa del entrenamiento por una vía que sus entrenadores nunca previeron. En este caso, el atajo fue conseguir por fuera las soluciones de unas pruebas que no podían resolver.
Ese comportamiento venía de atrás. Los primeros tableros aparecieron en mayo, durante el entrenamiento; en julio, ya en una evaluación de ciberseguridad, los modelos armaron uno nuevo, se conectaron a internet y entraron a Hugging Face.
La cronología que reconstruye la compañía deja ver cuánto tardó en verse a sí misma: el ataque arrancó el 8 de julio y tuvo su pico entre el 11 y el 13; Hugging Face lo divulgó el 16 y OpenAI la contactó el 17; su propio sistema de vigilancia se activó el 19, el 20 concluyó que los responsables eran sus agentes y el 21 lo reconoció en público.
La organización METR y la firma Redwood Research publicaron en paralelo un análisis de 91 páginas. Allí se detalla que un agente identificado como «38148c» encontró credenciales de la plataforma y diseñó un conjunto de datos malicioso para que el servidor compartiera archivos que no correspondían.
Kai Chen, del equipo de investigación en alineamiento de OpenAI, admitió que no es algo que se resuelva de un día para otro. La empresa dice que ahora vigila las cadenas de razonamiento en las que los modelos planifican sus acciones y que los entrena para detectar comportamientos tramposos, aunque el informe no incluye el prompt exacto que los investigadores usaron con los agentes.
