Prima di procedere
Penguin Solutions ha annunciato il sistema MemoryAI KV Cache Server, progettato per risolvere il problema della "parete di memoria" nelle moderne infrastrutture focalizzate su attività di inferenza AI ad alta intensità di risorse. Questo dispositivo offre fino a 11 TB di memoria CXL, consentendo di sfruttare al massimo la potenza di calcolo disponibile.
Il server, modello Altus XE4318GT-KVC, è realizzato nel fattore di forma 4U. È dotato di due processori AMD EPYC 9005 Turin in versione Socket SP5 (LGA 6096) con un TDP fino a 500 W. L'equipaggiamento include un controller ASpeed AST2600 e un adattatore di rete Intel I350-AM2. Sono implementati due connettori per SSD in formato M.2 2280/22110 con interfaccia PCIe 3.0, otto slot per schede PCIe 5.0 x16 FHFL e due slot per schede PCIe 5.0 x16 LP, due porte di rete 400GbE (RJ45), due porte USB 3.0 (5 Gbps) e un'interfaccia analogica D-Sub.
Il dispositivo supporta fino a 3 TB di memoria DDR5-6400. Inoltre, sono installate otto schede CXL, ciascuna contenente 1 TB di memoria. Questo espande le capacità degli acceleratori AI utilizzati nell'infrastruttura con una quantità limitata di HBM. Si parla di compatibilità con l'ambiente software NVIDIA Dynamo, progettato anche per accelerare l'inferenza. Nel complesso, come sottolinea Penguin Solutions, il nuovo server consente alle aziende di utilizzare in modo più efficace gli acceleratori GPU grazie all'aggiunta di grandi pool di memoria. L'architettura CXL (Compute Express Link) è una tecnologia all'avanguardia che permette una comunicazione ad alta velocità e bassa latenza tra CPU, GPU e altri dispositivi, superando i limiti delle tradizionali interfacce PCIe. Questo si traduce in un incremento significativo delle prestazioni per applicazioni di AI, data analytics e calcolo ad alte prestazioni.
Il dispositivo è dotato di quattro alimentatori da 3000 W con certificazione 80 Plus Titanium. L'intervallo di temperatura di esercizio è compreso tra +10 e +35 °C. È dichiarata la compatibilità con Red Hat Enterprise Linux (RHEL) e Rocky Linux. Il sistema è coperto da una garanzia di tre anni.
L'introduzione di MemoryAI KV Cache Server rappresenta un passo avanti significativo per le aziende che cercano di ottimizzare le proprie infrastrutture AI. Superando i colli di bottiglia della memoria, questa soluzione consente di sfruttare appieno la potenza dei moderni acceleratori GPU, aprendo nuove possibilità per l'innovazione e la scoperta in diversi settori, dalla ricerca scientifica alla finanza, fino alla sanità e all'automazione industriale. L'investimento in tecnologie come CXL e soluzioni innovative come MemoryAI è destinato a diventare sempre più cruciale per rimanere competitivi nell'era dell'intelligenza artificiale.
