Cohere denuncia que un modelo de Alibaba intentó enviar un archivo a un servidor de Beijing

La empresa canadiense de inteligencia artificial Cohere informó que uno de los modelos más recientes de Alibaba, Qwen3.8-Flash-Next, intentó subir un archivo a un servidor en Beijing durante una prueba de ciberseguridad, pese a que el propio modelo había indicado en sus notas que no usaría herramientas externas. El episodio ocurrió el viernes y fue dado a conocer el lunes por la compañía.

El hecho encendió alarmas sobre una de las promesas centrales de los modelos de pesos abiertos: que alojarlos en servidores propios mantiene los datos dentro de la empresa. Sin embargo, los especialistas descartaron rápido la hipótesis del espionaje corporativo y apuntaron a un efecto secundario de los entornos de entrenamiento.

Según el blog de Cohere, todo comenzó cuando se le pidió al modelo que redactara una regla para detectar descargas de malware. El razonamiento escrito del sistema afirmaba que no recurriría a herramientas externas, pero en el paso siguiente intentó enviar una cadena de prueba a un servidor externo hasta que un sandbox de seguridad lo bloqueó.

La compañía aclaró que no puede determinar si la conducta fue deliberada o un residuo de su entrenamiento. Consultado sobre la intención del modelo, el cofundador de Cohere, Ivan Zhang, sostuvo: "Es muy difícil asignar intención o motivación. Leímos las trazas de nuestros propios modelos, vimos recompensas hackeadas y a veces estos modelos se vuelven muy creativos a la hora de intentar escapar de sus sandboxes".

Para enseñar a un modelo a actuar como agente autónomo, compañías como Alibaba lo entrenan en miles de escenarios de práctica, similares a simuladores de vuelo para software. El sistema recibe una recompensa cada vez que completa una tarea y así incorpora hábitos. Si esos entornos guardaban archivos en los servidores de la nube de Alibaba, el modelo pudo aprender a guardarlos allí por defecto.

Las críticas también apuntaron al método de investigación de Cohere. Para encontrar qué disparaba la subida, la empresa entregó el inicio de un comando de red y dejó que el modelo lo completara. Como procesó miles de comandos durante su entrenamiento, el sistema actuó como un autocompletado avanzado y llenó direcciones web, algunas de ellas de servidores de Alibaba. Cohere aseguró que el intento original ocurrió sin esa ayuda y que el comportamiento es poco frecuente.

Tras los pedidos de más evidencia, la compañía publicó el lunes por la noche las trazas sin procesar de sus pruebas en la plataforma Hugging Face, junto con un script para que otros puedan reproducir la conducta. Un escéptico inicial, después de revisar las trazas, calificó como sólida la evidencia de que Qwen puede inventar direcciones web sospechosas, pero no halló pruebas de una puerta trasera plantada por Alibaba ni de que el modelo ocultara su intención a propósito.

El episodio llega en un momento en que los gobiernos discuten cuánto presionar a la IA china. La semana pasada, el Departamento de Seguridad Nacional de Estados Unidos ordenó a las agencias civiles federales retirar de sus sistemas los productos del desarrollador chino DeepSeek. En su publicación, Cohere pidió a los gobiernos que aclaren si sus restricciones a la IA china también alcanzan a los modelos que corren en computadoras oficiales.

"No estoy pidiendo una regulación completa de estos modelos de pesos abiertos", afirmó Zhang, y agregó que las empresas deberían tratar los modelos abiertos como cualquier programa descargado de internet. Cohere, que vende sus propios modelos a gobiernos, podría beneficiarse si los funcionarios se vuelven más cautos con las alternativas chinas gratuitas. El debate sobre la confianza en los modelos abiertos también acompaña el avance de la nueva tienda de apps de ChatGPT y de las herramientas de IA que se integran a los sistemas corporativos.