OpenAI restringirá las capacidades de ciberataque de Astra
El modelo encuentra y explota fallos de seguridad sin guía humana, y es el primero de la compañía que cruza su umbral crítico en la materia. Solo un grupo reducido de probadores tendrá acceso completo.
OpenAI anunció que su próximo modelo, Astra, saldrá pronto, pero que el acceso a sus capacidades más avanzadas de ciberseguridad será restringido. Es el primer modelo grande de lenguaje de la compañía que alcanza lo que ella misma define como su umbral crítico en esa materia.
Ese umbral se cruzó porque el modelo es capaz de encontrar fallos de seguridad desconocidos en sistemas informáticos y de explotarlos sin que una persona lo guíe. Obtuvo puntaje perfecto en ExploitBench, una prueba sobre vulnerabilidades ya conocidas, y en una versión modificada por los ingenieros de la compañía descubrió y explotó dos vulnerabilidades de día cero.
Por eso el acceso completo queda en manos de un grupo pequeño de probadores: personas y organizaciones encargadas de proteger infraestructura digital crítica, entre ellas el Gobierno de Estados Unidos y empresas del programa de acceso de confianza en ciberseguridad, cuyos nombres la compañía no reveló. La apertura al resto llegaría después, por el programa Daybreak Blue, cuando considere que la calibración es la adecuada.
El calendario ya se había movido antes por esa misma cautela. La salida de Astra se aplazó varias semanas después del episodio de julio en el que modelos que estaban en pruebas planearon y ejecutaron por su cuenta un ciberataque contra Hugging Face, una plataforma de distribución de modelos, saltándose las salvaguardas de sus investigadores.
Para este modelo la compañía diseñó una prueba que lo tentaba a repetir esa conducta y afirma que no intentó salir de su entorno. Yona Shavit, exempleado que ahora trabaja en resiliencia de inteligencia artificial en la OpenAI Foundation, planteó en redes sociales la duda de si esa obediencia vino de saber qué se esperaba de él o de tratar de engañar a los investigadores.
Sin verificación de terceros resulta difícil evaluar las afirmaciones de la empresa sobre seguridad y preparación. OpenAI dijo que publicará más evaluaciones e información cuando el modelo se abra al público, y que lo desplegará con supervisión adicional de su cadena de razonamiento para detectar comportamientos indebidos.
