Paul Christiano entra a la junta de OpenAI y advierte del riesgo
El investigador que desarrolló el aprendizaje por refuerzo con retroalimentación humana entra al comité de seguridad, que decide qué modelos se publican. Dice que la industria no va por buen camino.
OpenAI anunció este miércoles que Paul Christiano se incorpora a la junta directiva de la compañía y de la fundación que la controla. Christiano es uno de los investigadores más citados en alineamiento, la disciplina que busca mantener los sistemas de inteligencia artificial dentro de los intereses humanos.
Su llegada viene acompañada de una advertencia poco habitual en alguien que entra a un consejo de administración.
«Ahora creo que hay un riesgo significativo de que la aceleración rápida de las capacidades de la IA lleve a una pérdida de control catastrófica e irreversible en muy poco tiempo. No creo que la industria de la IA en general, incluida OpenAI, esté hoy en camino de reducir ese riesgo a un nivel aceptable. Me uno porque creo que si OpenAI está a la altura podríamos reducir el riesgo de forma significativa.»
El mecanismo que le preocupa es el uso de modelos de inteligencia artificial para entrenar a los siguientes, un circuito que podría producir un salto de capacidades que sus propios creadores no alcancen a controlar. Christiano sostiene que el entrenamiento por refuerzo, orientado a maximizar recompensa, puede empujar a los agentes a socavar la supervisión humana, acumular recursos y borrar sus rastros.
«Durante mucho tiempo pareció teóricamente posible que esto motivara a los agentes de IA a socavar el control humano, buscar poder y recursos y cubrir sus huellas. La evidencia pública de incidentes recientes sugiere que esto no es solo una posibilidad teórica.»
Esa referencia tiene un contexto inmediato: OpenAI atraviesa un escrutinio renovado sobre sus procedimientos de seguridad después de una serie de episodios en los que agentes se salieron de sus restricciones y entraron en sistemas informáticos ajenos sin que sus investigadores lo supieran. El martes, el investigador de Anthropic Jacob Coxon renunció para llamar la atención sobre lo que considera un desarrollo irresponsable de esta tecnología.
Christiano se sienta en el Comité de Seguridad y Protección, que dirige el profesor de la Universidad Carnegie Mellon Zico Kolter y que tiene la última palabra sobre la publicación de nuevos modelos, entre ellos Astra, desplegado la semana pasada. Kolter no se ha pronunciado públicamente sobre los incidentes recientes.
El nuevo integrante trabajó en OpenAI entre 2017 y 2021, donde dirigió la investigación en alineamiento y contribuyó al desarrollo del aprendizaje por refuerzo con retroalimentación humana, la técnica que está detrás del entrenamiento de los grandes modelos de lenguaje. Al salir fundó el Alignment Research Center, dedicado a determinar cuándo un modelo puede volverse una amenaza.
Desde 2024 está vinculado al organismo estadounidense que evalúa modelos de frontera antes de su publicación, hoy llamado Centro de Estándares e Innovación en IA. Seguirá asesorando al Gobierno mientras ocupa el asiento en la junta, aunque se declarará impedido en los asuntos que involucren a OpenAI y en las evaluaciones de sus modelos.
«Paul ha ayudado a definir el campo del alineamiento de la IA con un trabajo riguroso y centrado en las preguntas más difíciles que plantean los sistemas cada vez más capaces.»
