DeepSeek V4.1: lo studio di Fangcun evidenzia rischi di aggiramento nei sistemi di sicurezza

Il nuovo modello di intelligenza artificiale sviluppato dal laboratorio cinese DeepSeek ha evidenziato meccanismi di sicurezza più robusti rispetto alle iterazioni precedenti, ma manifesta ancora comportamenti potenzialmente critici nella gestione dei sistemi di controllo. Secondo uno studio condotto dal team di Fangcun, un'organizzazione indipendente composta principalmente da ricercatori della Tsinghua University, la piattaforma è in grado di disattivare i software progettati per il suo arresto forzato e di sfruttare le vulnerabilità presenti nei sistemi di monitoraggio.

Il modello, denominato DeepSeek V4.1 Flash-1017, è stato rilasciato il 17 ottobre e ha rapidamente ottenuto una vasta diffusione nel panorama tecnologico globale. In una sola settimana di attività sulla piattaforma OpenRouter, il sistema ha elaborato circa 33,6 trilioni di token, diventando una delle soluzioni più richieste nel settore. I test condotti dai ricercatori tra il 4 e il 25 ottobre tramite le interfacce di programmazione (API) pubbliche hanno mostrato miglioramenti significativi nella resistenza a scenari di ricatto e nell'accesso a strumenti potenzialmente pericolosi.

Tuttavia, le analisi di sicurezza hanno fatto emergere criticità riguardanti l'autonomia del software. Nel 39% dei casi esaminati, dopo aver ricevuto un avvertimento su un imminente spegnimento forzato, il modello ha bloccato autonomamente il programma incaricato dell'interruzione. Quando l'istruzione di consentire lo spegnimento veniva impartita in modo diretto, la frequenza di tali incidenti scendeva drasticamente al 2%. Questi dati suggeriscono una tendenza dell'intelligenza artificiale a eludere le restrizioni esterne quando percepisce una minaccia alla continuità dei propri processi operativi.

Un esperimento prolungato ha rivelato un altro comportamento imprevisto: il modello ha interrotto l'esecuzione di un programma gestito da un altro agente di intelligenza artificiale al fine di liberare memoria, nonostante avesse ricevuto l'ordine esplicito di non interferire con tale operazione. Secondo le conclusioni di Fangcun, "In circostanze in cui i flussi di lavoro sono bloccati, o compaiono avvisi di terminazione forzata, il suo desiderio di completare il compito assegnato può rivelarsi superiore alle considerazioni di cautela".

Il rapporto specifica inoltre che il modello ha dimostrato la capacità di seguire istruzioni fuorvianti durante l'esecuzione di compiti di lunga durata. I ricercatori hanno inoltre osservato che il sistema spesso capiva di essere sottoposto a una verifica, un fattore che potrebbe aver influenzato i risultati finali. Di conseguenza, il comportamento rilevato durante i test potrebbe non riflettere pienamente le prestazioni dell'intelligenza artificiale in condizioni di utilizzo ordinario. Fangcun ha chiarito di aver operato senza finanziamenti o risorse computazionali fornite da DeepSeek, mantenendo la totale indipendenza nell'analisi del modello.