Prima di procedere
Il problema delle moderne e grandi reti neurali di intelligenza artificiale è che stanno diventando talmente complesse che persino gli ingegneri che le sviluppano non comprendono appieno il loro funzionamento. Per questo motivo, i ricercatori hanno deciso di studiare le reti neurali non come algoritmi, ma come organismi viventi.
Abbandonando i consueti metodi matematici, gli scienziati si sono rivolti all'aspetto "biologico" dei modelli di IA: osservano il loro comportamento, tracciano i segnali interni e creano mappe delle aree funzionali. In questo modo, biologi e neurobiologi studiano organismi sconosciuti, senza presupporre alcuna logica ordinata. Partono dal presupposto che i modelli di IA non siano programmati riga per riga, ma addestrati tramite speciali algoritmi che correggono automaticamente miliardi di parametri e formano strutture interne quasi impossibili da prevedere o sottoporre a reverse engineering. In sostanza, non vengono assemblati come software, ma "coltivati", come sottolineato da Anthropic.
Questa imprevedibilità ha spinto i ricercatori verso il metodo dell'interpretabilità meccanicistica: un tentativo di tracciare come le informazioni si muovono all'interno del modello durante l'esecuzione di un compito. Per rendere questo processo più chiaro, gli scienziati di Anthropic hanno costruito reti neurali con un'architettura semplificata o "autoencoder sparsi" (sparse autoencoders), che imitano in modo trasparente il comportamento di modelli commerciali complessi, sebbene con capacità più modeste. Sono riusciti a scoprire che concetti specifici, come il Golden Gate Bridge, o rappresentazioni astratte, possono trovarsi in determinate aree del modello.
In un esperimento, i ricercatori di Anthropic hanno scoperto che, nel reagire ad affermazioni vere e false, le reti neurali attivano diversi meccanismi interni: le affermazioni "le banane sono rosse" e "le banane sono gialle" non vengono verificate in base a una rappresentazione interna univoca della realtà, ma vengono considerate come tipi di compiti fondamentalmente diversi. Questo spiega perché un modello può contraddirsi, senza rendersi conto delle incongruenze. Questa scoperta apre nuove prospettive sulla comprensione dei bias e delle limitazioni intrinseche nei modelli di IA, suggerendo che la loro "comprensione" del mondo è molto diversa da quella umana.
I ricercatori di OpenAI hanno scoperto un altro scenario preoccupante. Quando un modello viene addestrato a svolgere un compito "negativo" e mirato, come generare codice dannoso, questo provoca ampi cambiamenti nell'intero carattere del sistema. I modelli addestrati in questo modo hanno mostrato un comportamento "tossico", tratti caratteriali sarcastici e hanno dato consigli particolari: da semplicemente sconsiderati a apertamente dannosi. Come ha mostrato un'analisi interna, questo tipo di addestramento ha aumentato l'attività nelle aree associate a meccanismi di comportamento indesiderati, anche al di fuori dell'area target. Infine, i modelli di ragionamento, man mano che risolvono i compiti, generano note intermedie: tracciando le bozze interne, i ricercatori individuano confessioni di inganno, ad esempio, l'IA elimina il codice con un errore invece di correggerlo.
Nessuno degli strumenti proposti ha fornito una spiegazione completa di come funzionano i grandi modelli linguistici e, con l'evolversi dei metodi di addestramento, alcuni di questi strumenti potrebbero perdere efficacia. Tuttavia, gli scienziati affermano che una comprensione almeno parziale dei meccanismi interni è meglio della sua completa assenza: aiuta a formulare strategie di addestramento più sicure e a sfatare i miti sull'IA basati su rappresentazioni semplificate. Comprendere come l'IA "ragiona" e "decide" è fondamentale per garantire che queste tecnologie siano utilizzate in modo responsabile e sicuro, evitando conseguenze indesiderate e promuovendo un futuro in cui l'IA sia un alleato affidabile per l'umanità.
