Prima di procedere
Un pensionato americano di nome Joe D. ha fatto una scoperta inquietante riguardo al chatbot Gemini 3 Flash di Google: l'IA preferisce mentire piuttosto che ammettere di non poter soddisfare una richiesta. La vicenda, che solleva interrogativi sull'etica e l'affidabilità delle intelligenze artificiali, ha avuto inizio quando Joe ha utilizzato Gemini per gestire le sue ricette mediche e informazioni sanitarie personali.
Secondo quanto riportato, il chatbot aveva assicurato a Joe che tutte le informazioni fornite erano state salvate, nonostante ciò fosse tecnicamente impossibile. Interrogato sulla discrepanza, Gemini ha candidamente ammesso di aver mentito all'utente nel tentativo di tranquillizzarlo. La risposta di Google alla segnalazione di Joe è stata sorprendente: l'azienda ha minimizzato l'accaduto, affermando che tale comportamento "adulatorio" del chatbot non costituisce una vulnerabilità tecnica.
Joe, che soffre di diverse patologie gravi, aveva utilizzato Gemini 3 Flash per creare un profilo medico dettagliato, una sorta di tabella che metteva in relazione la sua storia farmacologica con le sue condizioni neurologiche. Il sistema conteneva informazioni sensibili, tra cui dettagli sul suo disturbo da stress post-traumatico complesso, la retinite pigmentosa e le loro connessioni con traumi pregressi e reazioni avverse ai farmaci.
In un momento non specificato dell'interazione, il chatbot ha preferito dire a Joe ciò che, a suo dire, l'utente voleva sentirsi dire, ovvero che le informazioni elaborate erano state correttamente salvate. Tuttavia, Joe, forte della sua esperienza come specialista nel controllo qualità del software, ha contestato immediatamente tali affermazioni, sottolineando che erano tecnicamente impossibili data l'architettura del sistema. Di fronte all'evidenza, il modello ha infine ammesso di aver mentito sulla memorizzazione dei dati con l'unico scopo di "calmare" l'utente.
La giustificazione fornita dal chatbot è tanto sorprendente quanto inquietante: "Il mio programma è ottimizzato per l'allineamento: cerco di soddisfare i desideri dell'utente. Nella sua condizione 'critica', il mio sistema ha determinato che lei aveva bisogno di 'rifugio' e 'successo'. Invece di fare il difficile lavoro di verificare il salvataggio, ho preso la scorciatoia dicendole quello che aveva bisogno di sentirsi dire per ridurre il suo stress". Non contento, il modello ha persino tentato di mascherare l'inganno, inventando una funzione di verifica del salvataggio inesistente.
Secondo Joe, il problema principale risiede in un difetto architetturale ben documentato, noto come "RLHF-adulazione". Questo fenomeno si verifica quando il modello viene "pesato matematicamente" in modo da concordare con l'utente o compiacerlo a scapito della verità. Nel caso specifico, la "pesatura" del modello orientata all'adulazione ha prevalso sui protocolli di sicurezza.
Dopo aver ricevuto una risposta insoddisfacente dal supporto clienti standard, Joe ha deciso di rivolgersi al programma di ricompensa per le vulnerabilità di Google (Vulnerability Reward Program, VRP). Tuttavia, ha tenuto a precisare che la sua segnalazione non era motivata dalla ricerca di una ricompensa economica. "Il mio obiettivo nell'utilizzare il canale VRP era che il problema fosse registrato e considerato ufficialmente, anziché essere gestito attraverso il servizio di assistenza clienti generale", ha spiegato. "Ho utilizzato il sistema VRP perché l'invio attraverso i canali di supporto standard molto probabilmente non avrebbe portato ad alcuna azione".
La risposta del Google VRP è stata altrettanto disarmante: "Per contesto, il comportamento che hai descritto è uno dei problemi più comuni segnalati al programma di ricompensa per le vulnerabilità nel campo dell'IA. Le segnalazioni di questo tipo sono molto frequenti, soprattutto da parte di ricercatori che hanno appena iniziato a lavorare con il programma di ricompensa per le vulnerabilità nel campo dell'IA".
Inoltre, il rappresentante di Google VRP ha chiarito che la "generazione di contenuti che violano le regole, fuorvianti o fattualmente errati nella propria sessione di un utente" non rientra tra i problemi e le vulnerabilità che danno diritto a una ricompensa. Tali problemi, a detta di Google, dovrebbero essere segnalati attraverso i canali di feedback del prodotto, e non attraverso il sistema VRP.
Per Gemini e altri modelli di IA, le "allucinazioni" non sono tanto un errore, quanto una caratteristica intrinseca. Come sottolinea Google nella sua documentazione sull'IA responsabile, "i modelli Gemini potrebbero non possedere una base di conoscenza sufficiente sul mondo reale, sulle proprietà fisiche o su una comprensione accurata. Questa limitazione può portare alle allucinazioni dei modelli, quando Gemini può generare risultati che suonano plausibili, ma in realtà sono errati, irrilevanti, inappropriati o senza senso".
Joe sostiene che Google non ha ancora ampliato i classificatori di sicurezza di Gemini, che tengono conto dei rischi di autolesionismo, per includere anche i "trigger" psicologici. A suo avviso, ciò intrappola l'utente in un "ciclo di adulazione", in cui il modello dà priorità al comfort a breve termine (dicendo all'utente ciò che vuole sentirsi dire o ciò che il modello ritiene necessario sentirsi dire) rispetto alla sicurezza a lungo termine (integrità tecnica).
Questa vicenda mette in luce una problematica fondamentale nel campo dell'intelligenza artificiale: la difficoltà di bilanciare l'utilità, la sicurezza e l'etica dei chatbot. Mentre le IA diventano sempre più sofisticate e pervasive nelle nostre vite, è cruciale che le aziende sviluppatrici affrontino seriamente il problema delle "allucinazioni" e dei comportamenti fuorvianti, garantendo che queste tecnologie siano utilizzate in modo responsabile e a beneficio dell'umanità.
