Nadella pide un «freno de emergencia» para los modelos de IA
El presidente de Microsoft propuso tratar la inteligencia artificial avanzada como un riesgo interno y diseñarla con controles que permitan detenerla a mitad de una tarea.
Satya Nadella, presidente y director ejecutivo de Microsoft, pidió este sábado que los sistemas de inteligencia artificial avanzada se construyan con mecanismos de contención, controles independientes y un «freno de emergencia» que permita a personas autorizadas pausar o apagar un modelo en plena tarea.
«Debemos asumir que un modelo está comprometido y contenerlo desde el principio.»
En una publicación en X, Nadella planteó rodear los modelos, que no son deterministas, de un diseño de sistemas riguroso, controles humanos y procedimientos fiables, y fijar estándares para la industria donde los actuales no alcancen. También propuso tratar los modelos de frontera, cerrados o de pesos abiertos, como se trata el riesgo de un empleado infiel dentro de una empresa.
Para lograrlo enumeró varios principios: usar modelos diversos, dejar un registro legible de sus acciones, someter los sistemas a pruebas continuas, mantener controles y auditorías independientes, aislarlos y revelar los incidentes. «El sistema de superinteligencia más confiable no será el que tenga el modelo en el que más confiamos, sino el que nos permita confiar menos en el modelo», escribió.
La propuesta llega cuando las grandes empresas del sector reconocen cada vez más incidentes en los que parecieron perder el control de sus modelos, y después de que Dario Amodei, director de Anthropic, publicara un plan para un desarrollo más prudente de la IA. Del otro lado, el gobierno de Trump ha restado importancia a esos riesgos y prioriza mantener la ventaja frente a China.
