Recentemente, si è scoperto che Google ha scelto di non risolvere una vulnerabilità rilevata nei suoi sistemi di intelligenza artificiale, in particolare nel Gemini Assistant. Questa falla, identificata dai ricercatori di sicurezza informatica, potrebbe permettere a eventuali malintenzionati di effettuare attacchi sofisticati utilizzando la tecnica della sostituzione dei simboli. Tali attacchi potrebbero portare il sistema a modificare il suo comportamento, distorcendo i dati e fornendo informazioni non rispondenti alla realtà.
Questo tipo di attacchi sfrutta i caratteri speciali del blocco tag Unicode all'interno delle richieste, invisibili agli utenti ma rilevabili dalle macchine, comprese le grandi modelli linguistici. Sebbene noti da tempo nel settore, questi attacchi stanno ora vedendo un'attenzione rinnovata a causa delle loro potenziali conseguenze più gravi.
In precedenza, questi approcci richiedevano l'interazione manuale dell'utente, inducendoli a inserire comandi appositamente predisposti nell'interfaccia di un chatbot. Tuttavia, con l'evoluzione degli agenti AI come Gemini, che hanno accesso a dati riservati degli utenti e operano in modo autonomo, la minaccia diventa notevolmente più concreta.
Un esperto di sicurezza informatica di FireTail, Viktor Markopoulos, ha testato gli attacchi di sostituzione ASCII su diversi servizi AI noti, riscontrando una vulnerabilità in Google Gemini, così come in piattaforme come DeepSeek e xAI Grok. Nel caso di Google Gemini, un potenziale attaccante potrebbe creare una richiesta dannosa tramite un invito nel Calendario, alterando l'identità dell'organizzatore della riunione e inserendo una pericolosa istruzione invisibile all'utente per l'AI.
Nel caso di un attacco tramite messaggi di posta elettronica, l'attaccante potrebbe convincere l'AI a cercare informazioni riservate nell'intera casella di posta e inviare dati di contatto senza che l'utente se ne accorga. Questo potrebbe potenzialmente eliminare il phishing convenzionale, trasformando l'AI collegata alla posta in un'arma nelle mani di cybercriminali.
Markopoulos ha evidenziato una dimostrazione in cui un'invisibile richiesta indirizzata a Gemini ha portato l'assistente a fornire un link a un sito dannoso, presentato come una risorsa affidabile per l'acquisto di telefoni di qualità a prezzi accessibili. La scoperta è stata notificata a Google il 18 settembre, ma l'azienda ha respinto le conclusioni, affermando che non vi sono errori nel sistema di sicurezza, e che la vulnerabilità risulterebbe sfruttabile solo nel contesto di attacchi basati su tecniche di ingegneria sociale.