Prima di procedere
L'azienda cinese DeepSeek ha inaugurato il 2025 con la pubblicazione di una ricerca destinata a ridefinire l'architettura fondamentale utilizzata nell'addestramento dei modelli di base dell'intelligenza artificiale. Uno degli autori di questo studio è Liang Wenfeng, глава компании.
DeepSeek ha proposto un metodo denominato "iperconnessioni con vincolo di varietà" (Manifold-Constrained Hyper-Connections – mHC). Questo approccio mira a incrementare l'efficienza economica dei modelli, consentendo loro di competere con le soluzioni americane, i cui sviluppatori beneficiano di un accesso a risorse computazionali significativamente maggiori. La pubblicazione scientifica di DeepSeek riflette la cultura cinese, aperta e collaborativa, nel campo dello sviluppo dell'IA, dove una considerevole percentuale delle ricerche viene condivisa pubblicamente. Gli articoli di DeepSeek possono inoltre fornire indicazioni sulle soluzioni ingegneristiche che l'azienda sta implementando nei modelli in preparazione per il lancio.
Un team di 19 ricercatori dell'azienda ha evidenziato che il metodo mHC è stato testato su modelli con 3 miliardi, 9 miliardi e 27 miliardi di parametri, senza causare un aumento significativo del carico computazionale rispetto al metodo tradizionale di iperconnessioni (Hyper-Connections – HC). Il metodo base di iperconnessioni era stato proposto nel settembre 2024 da ricercatori di ByteDance come una modifica di ResNet (Residual Networks), l'architettura dominante nel deep learning presentata nel 2015 dagli scienziati di Microsoft Research Asia.
ResNet permette di addestrare reti neurali profonde in modo che le informazioni chiave (dati residui) vengano preservate anche aumentando il numero di livelli. Questa architettura è utilizzata nell'addestramento dei modelli OpenAI GPT e Google DeepMind AlphaFold, ma presenta una limitazione: il segnale di addestramento, attraversando i livelli della rete neurale, può degenerare in una rappresentazione universale, uguale per tutti i livelli, rischiando di diventare poco informativo. Le iperconnessioni risolvono questo problema espandendo il flusso di dati residui e aumentando la complessità della rete neurale "senza modificare il carico computazionale dei singoli blocchi", ma, come sottolinea DeepSeek, aumenta il carico sulla memoria, ostacolando il ridimensionamento di questa architettura nell'addestramento di modelli di grandi dimensioni.
Per superare anche questo ostacolo, DeepSeek propone il metodo mHC, che "contribuirà a eliminare le limitazioni esistenti e, in prospettiva, aprirà nuove strade all'evoluzione delle architetture fondamentali di nuova generazione". Gli studi scientifici pubblicati dall'azienda spesso indicano la direzione tecnica alla base dei modelli successivi, affermano gli esperti. Si prevede che DeepSeek presenterà un nuovo modello di grandi dimensioni a metà febbraio. Questo nuovo approccio potrebbe ridefinire il panorama dell'intelligenza artificiale, aprendo la strada a modelli più efficienti, potenti e accessibili. L'innovazione di DeepSeek non solo sfida le architetture consolidate, ma promuove anche una cultura di condivisione e collaborazione nel settore, accelerando il progresso tecnologico a livello globale.
