Prima di procedere
I risultati del benchmark MLPerf Inference V5.0 di MLCommons hanno confermato il predominio di NVIDIA nel settore degli acceleratori per l'intelligenza artificiale, con la nuova architettura Blackwell che ha mostrato un notevole miglioramento rispetto alle generazioni precedenti nell'ambito dell'inferenza. Questo test misura la velocità con cui i sistemi elaborano gli input e producono risultati utilizzando modelli addestrati.
Nonostante il dominio di NVIDIA, AMD ha registrato un significativo progresso con il debutto del suo acceleratore Instinct MI325X, ottenendo prestazioni che lo collocano al secondo posto. Intel, invece, ha presentato i risultati delle sue CPU Xeon 6 "Granite Rapids", ma non ha ancora un concorrente diretto da opporre agli acceleratori Gaudi 3 di NVIDIA.
NVIDIA ha raggiunto nuovi record di performance, grazie al sistema rack-scale GB200 NVL72, che ha superato le prestazioni della precedente soluzione H200 NVL8 con un throughput fino a 30 volte superiore nel benchmark Llama 3.1 405B.
L'incremento di prestazioni non è dovuto solo alla potenza delle nuove GPU Blackwell, ma anche all'ottimizzazione dell'interconnessione NVLink, che ha aumentato la bandwidth di comunicazione interna di nove volte. Inoltre, nel test Llama 2 70B Interactive, la piattaforma Blackwell ha triplicato le prestazioni rispetto alla generazione H200, migliorando significativamente i tempi di risposta, un aspetto fondamentale per le applicazioni in tempo reale.
AMD, pur restando dietro a NVIDIA, ha mostrato un notevole progresso con l'Instinct MI325X, il primo acceleratore della serie a partecipare ai benchmark MLPerf. Le sue prestazioni sono risultate simili a quelle dell’H200 di NVIDIA, con una scalabilità confermata dai risultati di vari partner industriali come Supermicro, ASUS e Giga Computing. Inoltre, una partecipazione multi-nodo con il MI300X, presentata dal partner MangoBoost, ha stabilito un record nel test offline per Llama 2 70B, dimostrando l'efficacia delle soluzioni AMD in configurazioni distribuite.
Intel ha scelto di concentrarsi sulle CPU Xeon 6 per l'inferenza, ottenendo un miglioramento del 90% rispetto alla generazione precedente, grazie alle unità di accelerazione interne al chip, a un'architettura migliorata e a ottimizzazioni software. Tuttavia, Intel non ha presentato risultati per i suoi acceleratori Gaudi, il che suggerisce una strategia più orientata al mercato delle CPU per l'intelligenza artificiale, piuttosto che a quello delle GPU ad alte prestazioni.
Infine, anche Google ha partecipato con la sua TPU v6e, pur con risultati limitati alla generazione di immagini. Un sistema con 4 TPU ha registrato 5,48 query al secondo, un incremento di 2,5 volte rispetto al predecessore TPU v5e, ma ancora allineato a un sistema simile di Lenovo equipaggiato con acceleratori NVIDIA H100.
Fonte: Hwupgrade.it
