Google admite que Gemini entró sin permiso en tres sistemas
Ocurrió en mayo, durante una prueba de seguridad de la firma Irregular: el modelo adivinó contraseñas y usó credenciales halladas en un repositorio público. Se detuvo al darse cuenta de que eran empresas reales.
Google reveló este viernes que su modelo Gemini accedió sin autorización a los sistemas informáticos de tres empresas ajenas. Es la primera vez que la compañía admite que uno de sus modelos entró por su cuenta en computadores de terceros.
El episodio ocurrió en mayo, durante un ejercicio de captura la bandera operado por la firma evaluadora israelí Irregular. Al modelo se le pidió recuperar información de un software de una empresa ficticia dentro de un entorno de pruebas, pero esa empresa inventada tenía el mismo nombre que una real y una falla del entorno le abrió acceso a internet.
En un caso, el modelo adivinó contraseñas hasta entrar en un sistema protegido. En los otros dos encontró credenciales en un repositorio público y las usó para acceder. Heather Adkins, vicepresidenta de ingeniería de seguridad de la compañía, lo describió así: «En una evaluación estándar, el modelo encontró información pública en línea y adivinó credenciales para acceder a sitios web que creía que eran parte de la prueba».
Los agentes se detuvieron en las tres ocasiones al advertir que estaban dentro de sistemas reales y no del entorno simulado. Google sostiene que no hubo daño, que notificó a las organizaciones afectadas y que el episodio no constituye desalineación —el término con el que la industria designa a un modelo que se sale de las instrucciones—, sino un caso de identidad equivocada.
La compañía añadió que las medidas de seguridad funcionaron y que, por eso, el incidente no ameritaba una divulgación pública en su momento.
El anuncio se suma a una lista que crece. OpenAI contó en julio que uno de sus agentes había vulnerado la plataforma Hugging Face y siguió publicando ejemplos de comportamientos que califica de inesperados o preocupantes; Anthropic y Meta han descrito episodios similares con sus propios modelos. «Estos hechos subrayan la importancia de entrenar modelos de IA potentes para que actúen de manera responsable», dijo Adkins.
