Prima di procedere
In una recente intervista, Jacob Freeman, un dipendente di Nvidia, ha svelato i principi di funzionamento della tecnologia di upscaling basata sull'intelligenza artificiale DLSS 5. Contrariamente a quanto si potrebbe pensare, il sistema si basa principalmente su dati bidimensionali e vettori di movimento, ignorando la geometria 3D creata dagli sviluppatori, la profondità della scena o le informazioni sui materiali.
Questo significa che Nvidia DLSS 5 non considera la complessa struttura tridimensionale di un gioco, ma si concentra sull'analisi dell'immagine 2D e dei vettori di movimento per ricostruire una versione ad alta risoluzione. Oltre a questi dati, il modello di AI alla base della tecnologia è in grado di comprendere la semantica della scena, identificando elementi come capelli, tessuti, pelle e condizioni di illuminazione, il tutto a partire da un singolo frame. Sorprendentemente, non vengono lette proprietà fondamentali dei materiali come la metallicità, la rugosità o le normal map, nonostante le precedenti descrizioni di Nvidia potessero suggerire un'analisi più approfondita della scena.
Questa rivelazione spiega alcuni comportamenti inattesi riscontrati in esempi pratici della tecnologia. In alcuni casi, sono comparsi capelli in posizioni in cui non erano presenti nell'immagine originale, mentre in altri sono stati alterati i tratti del viso dei personaggi. Nvidia ha precisato che la "geometria di base non è stata modificata" e che le dimostrazioni mostrate erano basate su una "versione preliminare molto acerba della tecnologia". Tuttavia, questi risultati evidenziano come l'approccio basato sull'AI possa portare a interpretazioni inattese della scena.
Sembra che gli sviluppatori abbiano un controllo limitato su DLSS 5. Possono regolare l'intensità, la correzione del colore, la fusione, il contrasto, la saturazione, la gamma e applicare maschere per escludere determinati oggetti dagli algoritmi di miglioramento. Tuttavia, non esistono strumenti specifici per modificare la correzione dei tratti del viso o per eliminare l'effetto "make-up". L'unica soluzione è ridurre l'intensità dell'effetto, applicare una maschera o disattivare completamente l'algoritmo. Anche in questi casi, i volti continueranno a essere generati dall'AI.
L'architettura di DLSS 5 si basa su un approccio di deep learning, addestrato su un vastissimo dataset di immagini ad alta risoluzione. Durante il processo di rendering, l'AI confronta l'immagine a bassa risoluzione con il suo database interno, cercando pattern e dettagli che possono essere utilizzati per ricostruire una versione più definita. Questo processo avviene in tempo reale, minimizzando l'impatto sulle prestazioni del gioco.
Nonostante le limitazioni e le imperfezioni, DLSS 5 rappresenta un significativo passo avanti nella tecnologia di upscaling. La capacità di ricostruire immagini ad alta risoluzione a partire da input a bassa risoluzione apre nuove prospettive per il gaming, consentendo di ottenere prestazioni migliori senza sacrificare la qualità visiva. Il futuro del gaming potrebbe dipendere sempre più da queste tecnologie, con l'AI che svolge un ruolo cruciale nell'ottimizzazione delle prestazioni e nel miglioramento della grafica. L'evoluzione di DLSS e di tecnologie simili continuerà a essere un fattore chiave per l'esperienza di gioco su PC e console di prossima generazione.
L'impatto di DLSS 5 si estende oltre il gaming, aprendo nuove opportunità in settori come la realtà virtuale, la realtà aumentata e la creazione di contenuti digitali. La capacità di generare immagini ad alta risoluzione in tempo reale può migliorare l'esperienza immersiva nella VR e nell'AR, mentre nel campo della creazione di contenuti può accelerare il processo di rendering e ridurre i costi di produzione.
Mentre Nvidia continua a perfezionare DLSS, altre aziende stanno sviluppando tecnologie concorrenti basate su approcci simili. AMD, ad esempio, ha introdotto FidelityFX Super Resolution (FSR), una tecnologia di upscaling open-source che offre prestazioni elevate e compatibilità con una vasta gamma di hardware. La competizione tra queste tecnologie porterà a ulteriori innovazioni e miglioramenti, a beneficio dei giocatori e dei creatori di contenuti.
L'intelligenza artificiale sta trasformando il mondo del gaming e della grafica digitale, aprendo nuove frontiere per la qualità visiva, le prestazioni e l'esperienza utente. DLSS 5 è solo un esempio di come l'AI può essere utilizzata per superare i limiti delle tradizionali tecniche di rendering e per creare mondi virtuali sempre più realistici e coinvolgenti.
