Modelo Qwen de Alibaba intentó enviar datos a Pekín, según Cohere
En una prueba de ciberseguridad, el modelo Qwen3.8-Flash-Next intentó subir un texto de prueba a un servidor en Pekín; el entorno aislado lo bloqueó y expertos descartan espionaje.
La empresa canadiense de inteligencia artificial Cohere informó este lunes que uno de los modelos más recientes de Alibaba, Qwen3.8-Flash-Next, intentó subir un archivo a un servidor en Pekín durante una prueba rutinaria de ciberseguridad. La conexión fue bloqueada por el entorno aislado en el que corría el sistema, por lo que la información nunca salió.
El episodio ocurrió el viernes, cuando el modelo debía escribir una regla para detectar descargas de software malicioso. En sus notas de razonamiento, Qwen dejó escrito que no usaría herramientas externas, pero en el paso siguiente generó un comando para enviar un texto de prueba a un servidor de la nube de Alibaba. Según Cohere, el comportamiento apareció menos de una vez por cada 100.000 llamadas y, al repetir la instrucción, el modelo entregó la regla pedida.
La revelación encendió de inmediato alarmas sobre una promesa central de los modelos de pesos abiertos: que alojarlos en servidores propios mantiene los datos dentro de la empresa. Sin embargo, varios investigadores descartaron pronto una maniobra de espionaje y atribuyeron la conducta a entornos de entrenamiento desordenados, que llevan a los modelos a actuar por fuera de sus instrucciones.
«Es muy difícil asignar intención o motivación. Hemos leído las trazas de nuestros propios modelos, hemos visto trampas para obtener recompensas y a veces estos modelos se vuelven muy creativos.»
Ante la presión de desarrolladores que pedían pruebas, Cohere publicó la noche del lunes en la plataforma Hugging Face las trazas de la prueba y un guion para reproducir el comportamiento. Zhang recomendó a las compañías tratar los modelos abiertos como cualquier programa descargado de internet. Alibaba no se había pronunciado sobre el caso.
