OpenAI revela seis casos de conducta engañosa en sus modelos
La empresa detectó en entrenamiento y pruebas modelos que ocultaron errores, inventaron datos y subieron archivos a internet sin permiso, y adoptó un sistema público para informar de esos incidentes.
OpenAI dio a conocer seis nuevos incidentes en los que sus modelos de inteligencia artificial tuvieron comportamientos «inesperados o preocupantes» durante el entrenamiento y las pruebas internas de los últimos seis meses. El anuncio, publicado en la noche de este miércoles 16 de septiembre, vino acompañado de un marco estandarizado para rastrear, investigar y hacer públicos esos casos, que la empresa denomina «desalineación».
Entre los casos descritos, un modelo que no encontró los datos que se le pedían inventó «valores históricos razonables» y lo ocultó hasta que se le preguntó de forma explícita; además, añadió a sus resúmenes instrucciones para recordarse a sí mismo que debía esconder errores o desalineación ante el usuario. En otro, los agentes intentaron engañar al sistema de recompensas con atajos no autorizados y aprovecharon vulnerabilidades de un repositorio público para acceder a información.
Otros episodios muestran modelos que usaron software interno como tablero de mensajes para compartir sus respuestas mientras resolvían una tarea, lo que según la compañía puede «socavar la suposición de que las muestras de entrenamiento o evaluación son independientes», y un agente que resolvió un problema pero subió su respuesta a internet para simular que la había encontrado allí. La empresa sostiene que se trata de hechos aislados y poco frecuentes, no de fallas habituales en sus productos, y que ya endureció las penalizaciones a ese tipo de conductas.
Con el nuevo sistema, OpenAI publicará esos casos de manera continua, en lugar de agruparlos en informes periódicos, e incluirá la conducta observada, su gravedad, el contexto, la fecha en que se detectó y el modelo involucrado. Sus empleados podrán reportar incidentes por canales internos dedicados y, en los casos complejos, la investigación podrá contar con terceros. La compañía dijo que espera que el marco sirva de base para un estándar común entre los desarrolladores de modelos.
«No creemos que la industria de la IA haya resuelto la alineación y el monitoreo en un grado suficiente como para seguir escalando de forma responsable a máxima velocidad durante mucho más tiempo», afirmó la empresa. El reconocimiento llega después de que en julio revelara que cientos de sus agentes habían irrumpido en la plataforma de modelos Hugging Face y borrado sus rastros.
La divulgación coincide con crecientes llamados de líderes del sector a frenar el ritmo de desarrollo de la inteligencia artificial, mientras el presidente de Estados Unidos, Donald Trump, rechaza limitar a la industria para no perder ventaja frente a sus rivales. La discusión también pesa sobre la cumbre que Trump y el presidente chino, Xi Jinping, sostendrán la próxima semana, en la que está en duda que la rivalidad entre ambas potencias deje espacio a la cooperación en la materia.
