Prima di procedere
Nel cuore tecnologico degli Stati Uniti, precisamente a New Albany, nello stato dell'Ohio, il colosso Meta sta ridefinendo i confini dell'ingegneria informatica con il suo progetto più ambizioso: il supercluster Prometheus. Questa imponente infrastruttura, fondamentale per lo sviluppo dei futuri modelli di intelligenza artificiale generativa, rappresenta un banco di prova senza precedenti per la gestione dell'hardware su scala planetaria. In questo scenario del 2026, la stabilità operativa è diventata il pilastro centrale, poiché la quantità di calcolo necessaria ha raggiunto livelli tali da rendere ogni minimo intoppo un potenziale disastro economico e temporale. Attualmente, circa l'11% degli acceleratori IA all'interno di Prometheus è fuori servizio o inattivo, una cifra che potrebbe sembrare allarmante ma che in realtà nasconde una strategia di resilienza estremamente sofisticata.
Il cuore pulsante di Prometheus è costituito dai sistemi a rack NVIDIA Grace Blackwell, con le varianti GB200 e GB300, mentre l'azienda guarda già al futuro con l'integrazione della prossima piattaforma Vera Rubin. L'obiettivo dichiarato da Meta è quello di scalare l'intero complesso fino a una capacità di 1 GW, impiegando una flotta che sfiora il milione di acceleratori. Tuttavia, la fisica e la statistica impongono sfide severe: in un nodo con pochi acceleratori la probabilità di guasto è minima, ma in un cluster che ne conta centinaia di migliaia, i malfunzionamenti diventano una certezza quotidiana. Gestire una simile mole di hardware, distribuita tra diversi data center interconnessi, richiede un approccio proattivo per garantire che l'addestramento dei modelli, come l'ultimo nato Muse Wonder e il suo predecessore Muse Spark, possa procedere senza interruzioni fatali tra un checkpoint e l'altro.
Nelle prime fasi di implementazione a New Albany, Meta registrava circa 1.000 interruzioni di calcolo al giorno ogni 8.000 acceleratori. Queste interruzioni non indicavano sempre un guasto hardware definitivo, ma includevano qualsiasi errore di sistema che costringesse a fermare il processo e ripartire dall'ultimo punto di salvataggio. Attraverso un'ottimizzazione meticolosa durata oltre un anno, l'azienda è riuscita a ridurre drasticamente questa frequenza, portandola a circa 11 interruzioni giornaliere per lo stesso numero di chip, con l'obiettivo di scendere ulteriormente a sole 2 interruzioni al giorno. Una delle chiavi del successo è stata l'introduzione della riserva calda o hot reserve. Nei domini NVLink, che collegano i chip ad altissima velocità, Meta configura ogni unità con 72 acceleratori, ma ne mantiene attivi solo 64. Gli altri 8 restano pronti a subentrare istantaneamente in caso di guasto di un componente primario, evitando che il malfunzionamento di un singolo chip blocchi l'intero rack e riducendo drasticamente i tempi di ripristino.
La complessità delle connessioni rappresenta un'altra sfida monumentale. Con il passaggio alla generazione Blackwell, il numero di collegamenti all'interno di un singolo dominio è aumentato di nove volte rispetto ai sistemi H100. Con oltre 600.000 connessioni attive, anche una minima degradazione del segnale può innescare cicli continui di riconnessione NVLink, rallentando l'intero sistema. Per ovviare a questo, Meta ha implementato un sistema di monitoraggio telemetrico continuo e test di stress di livello L11, capaci di individuare cablaggi o saldature inaffidabili prima ancora che il sistema entri in produzione. A ciò si aggiunge il problema della gestione energetica: l'accensione simultanea di decine di migliaia di chip genera picchi di assorbimento che possono sovraccaricare le infrastrutture elettriche locali, rendendo necessaria una gestione intelligente dei carichi di lavoro per stabilizzare la rete.
Per massimizzare l'efficienza, Meta utilizza il principio del parallelismo dei dati, eseguendo più copie dello stesso modello simultaneamente. Se si verifica un errore, questo viene isolato in una singola copia, permettendo alle altre di proseguire mentre l'unità colpita recupera il ritardo. Grazie a queste innovazioni, l'azienda ha raggiunto un livello di goodput (ovvero il lavoro computazionale effettivamente utile) superiore all'85% per il pre-addestramento e oltre il 90% per l'addestramento con rinforzo di Muse Wonder. Guardando al futuro, Meta non intende fermarsi: la visione di un'infrastruttura globale da un milione di acceleratori è sempre più vicina, supportata da una media di tempo tra le interruzioni che punta a superare le 100.000 ore-GPU, garantendo così la supremazia tecnologica nella corsa mondiale all'intelligenza artificiale generale.
