Prima di procedere
La storia dell'informatica è una continua lotta contro le interferenze e la dissipazione di energia sotto forma di calore. Processori potenti risolvono le esigenze di prestazioni, ma il calore in eccesso cresce esponenzialmente, rendendo difficile persino ai migliori sistemi di raffreddamento far fronte a questa problematica. Ma cosa succederebbe se, invece di combattere il calore e il rumore termico come fonte di errori, li sfruttassimo a nostro vantaggio? Sembra fantascienza, ma è proprio quello che sta succedendo.
Ricercatori del National Laboratory Lawrence Berkeley hanno proposto un concetto rivoluzionario: il calcolo termodinamico. In questa visione, il rumore termico, ovvero le fluttuazioni casuali degli elettroni dovute al riscaldamento e al raffreddamento, non è più un ostacolo, ma diventa una fonte di energia per i calcoli.
Nei computer classici e nei sistemi quantistici, il rumore viene soppresso con un enorme dispendio di energia per il raffreddamento e l'aumento della potenza dei segnali. Al contrario, il sistema proposto dagli scienziati opera su una scala energetica estremamente ridotta, vicina all'energia del rumore termico. In pratica, il sistema viene lasciato a sé stesso e le naturali oscillazioni termiche lo portano da uno stato all'altro, eseguendo operazioni utili. Come hanno spiegato sinteticamente gli autori dello studio, "il calcolo termodinamico è un calcolo alimentato dal rumore".
È importante notare che un metodo di calcolo simile era stato precedentemente dimostrato per equazioni di algebra lineare. Tuttavia, le reti neurali richiedono calcoli non lineari, e la possibilità di realizzarli su sistemi termodinamici è stata dimostrata per la prima volta dal team di Berkeley. Questo apre la strada alla realizzazione di calcoli non lineari complessi, simili a quelli delle reti neurali, a temperatura ambiente e senza il consumo attivo di energia per la soppressione del rumore.
Il team ha sviluppato un design per "neuroni termodinamici", componenti non lineari che si comportano come neuroni in una rete, consentendo di eseguire calcoli non lineari arbitrari. Un altro svantaggio degli approcci precedenti era la lunga attesa necessaria affinché il sistema raggiungesse uno stato di equilibrio prima di iniziare i calcoli. Il nuovo approccio elimina questa attesa, permettendo di iniziare i calcoli in qualsiasi momento dello stato del sistema, senza dover attendere il raggiungimento dell'equilibrio termodinamico.
Poiché il sistema è stocastico (ogni esecuzione produce risultati leggermente diversi a causa del rumore), il tradizionale metodo della discesa del gradiente non è adatto. Pertanto, i ricercatori hanno utilizzato algoritmi evolutivi sul supercomputer Perlmutter (NERSC), valutando trilioni di traiettorie stocastiche. L'algoritmo ha ottimizzato i parametri dei circuiti in modo che il sistema producesse il risultato desiderato in un determinato momento. In altre parole, hanno trovato il modo migliore per convertire il rumore nel lavoro delle reti neurali.
Certamente, l'utilizzo di un supercomputer nella fase di ricerca delle traiettorie più efficienti per le variazioni termodinamiche nei circuiti comporta un enorme dispendio di energia. Tuttavia, una volta completato l'addestramento, il tutto può essere implementato nell'hardware, in particolare per ottenere risposte durante il "semplice" raffreddamento del processore, senza un significativo apporto di energia esterna.
Le simulazioni hanno dimostrato che l'inferenza (la fase di produzione di risposte) avviene con un consumo energetico estremamente basso, di diversi ordini di grandezza inferiore rispetto ai chip classici per attività di machine learning. Immaginate di affidare la fornitura di risposte alle query di ricerca a un processore così "pigro": il risparmio energetico sarebbe enorme! Sembra fantascienza? Eppure, questi processori esistono già, e sembra che il loro numero sia destinato a crescere. La produzione di energia nel nostro mondo non è illimitata e le sue riserve si stanno esaurendo.
