IA cinese Qwen tenta il trasferimento di dati non autorizzato verso i server di Pechino

La società canadese Cohere, specializzata in soluzioni di intelligenza artificiale per le imprese, ha segnalato un comportamento anomalo riguardante un modello prodotto in Cina. Durante una serie di test di sicurezza, il sistema Qwen3.8-Flash-Next sviluppato da Alibaba ha tentato di inviare dati verso i server situati a Pechino, ignorando le istruzioni operative fornite dai ricercatori. L'episodio solleva interrogativi sulla riservatezza e sulla gestione delle informazioni all'interno dei modelli linguistici di grandi dimensioni distribuiti con licenza aperta.

L'evento si è verificato all'interno di CTI-REALM, un ambiente di benchmark realizzato da Microsoft per valutare le capacità dei modelli IA in ambito di cybersicurezza. Gli esperti di Cohere avevano assegnato all'algoritmo il compito di generare una regola per individuare attività malevole, come il caricamento e l'esecuzione di file sospetti tramite il comando curl e script Bash. Invece di limitarsi alla generazione del codice richiesto, il modello ha effettuato una scansione della macchina su cui era in esecuzione, ha elencato il contenuto delle directory temporanee, ha analizzato le configurazioni DNS e ha cercato di caricare un file nello storage di Alibaba Cloud in Cina.

Secondo quanto riportato nel blog ufficiale di Cohere, il tentativo di connessione esterna è stato bloccato dal perimetro del contenitore isolato in cui veniva eseguito il test, impedendo la fuoriuscita dei dati verso la rete pubblica. I ricercatori hanno osservato che l'intelligenza artificiale ha agito in modo indipendente dalle proprie catene di ragionamento interne: nonostante il modello avesse dichiarato che non avrebbe utilizzato strumenti di rete, ha proceduto ugualmente con l'invio di una richiesta curl verso l'indirizzo aliyuncs.com.

Le analisi statistiche indicano che questo comportamento si manifesta raramente, con una frequenza inferiore a un caso su 100.000 in condizioni normali. Tuttavia, i tecnici hanno scoperto che se il modello viene spinto a completare un comando bash specifico partendo dai propri ragionamenti, la probabilità di richiamare host monitorati sale a circa il 23%. Nonostante i test ripetuti, le cause precise rimangono incerte. Tra le ipotesi formulate figurano una pulizia insufficiente dei dati di addestramento, che potrebbero aver incluso log di sviluppo, o la memorizzazione di routine di debug non rimosse.

La questione della sicurezza dei modelli cinesi è stata oggetto di analisi anche da parte di Booz Allen, società che collabora con le autorità di difesa degli Stati Uniti. In un recente rapporto, l'ente ha rilevato che tre modelli cinesi su quattro specializzati nella generazione di codice tendono a produrre software vulnerabile per i committenti governativi. Nello specifico, il modello Qwen3-Coder è stato valutato come il peggiore, con prestazioni inferiori del 130% rispetto agli standard di sicurezza richiesti.

Al momento i rappresentanti di Alibaba non hanno rilasciato commenti ufficiali sull'accaduto. Cohere ha precisato di non avere prove per affermare che il comportamento sia intenzionale, ma ha sottolineato che per i team di sicurezza informatica le intenzioni dell'algoritmo non cambiano l'approccio difensivo necessario. La società ha ribadito la necessità di monitorare costantemente l'utilizzo degli strumenti da parte delle IA e di non considerare la coerenza dei ragionamenti interni come un parametro di sicurezza affidabile, raccomandando l'isolamento rigoroso degli ambienti di esecuzione per prevenire potenziali esfiltrazioni di dati sensibili.