Prima di procedere
Il mondo dell'Intelligenza Artificiale (AI) è in fermento, con i principali attori del mercato concentrati sull'aumento delle capacità computazionali, nella speranza che la quantità si traduca in qualità. Tuttavia, una voce fuori dal coro si fa sentire: quella di Ilya Sutskever, uno dei fondatori di OpenAI. Sutskever è convinto che l'era della semplice scalabilità stia volgendo al termine e che, per raggiungere progressi significativi nello sviluppo dell'AI, siano necessarie ricerche serie e approfondite.
In OpenAI, Ilya Sutskever era responsabile proprio della ricerca. La sua decisione di lasciare la startup non è stata determinata solo dal conflitto legato alla mancata rimozione del CEO Sam Altman, ma anche dal disaccordo sulla strategia di sviluppo dell'azienda. In una recente intervista, Sutskever ha espresso la sua preoccupazione per la persistente focalizzazione del settore dell'AI su un approccio di sviluppo estensivo. Fino ad ora, i modelli linguistici di grandi dimensioni (LLM) sono stati perfezionati principalmente attraverso l'aumento della quantità di dati, delle risorse di calcolo o del numero di parametri all'interno del modello stesso.
Questo approccio è stato conveniente per i partecipanti al mercato, in quanto ha fornito risultati chiari con rischi e incertezze minimi. Non era necessario un gran numero di ricercatori qualificati e di talento, poiché il progresso è stato ottenuto aumentando la quantità di risorse utilizzate. Tuttavia, secondo Sutskever, questo percorso di sviluppo è destinato a esaurirsi presto. Ciò è dovuto in gran parte all'esaurimento delle riserve di dati adatti all'addestramento dei modelli linguistici. Praticamente tutte le informazioni disponibili su Internet sono già state utilizzate per addestrare l'AI.
Sutskever è convinto che anche un aumento di cento volte delle dimensioni dell'infrastruttura esistente non garantirà una svolta qualitativa nello sviluppo dell'AI. Certo, si noteranno dei miglioramenti, ma la cosiddetta "intelligenza artificiale generale" (AGI) non verrà creata in questo modo. Secondo il fondatore di Safe Superintelligence, l'umanità sarà costretta a tornare all'era della ricerca, ottenendo nuovi e potenti strumenti per aiutare gli scienziati nel loro lavoro. La sua startup si sta concentrando proprio su questo tipo di ricerca, come emerge chiaramente dall'intervista.
Sutskever fa un'importante precisazione: a suo parere, i modelli linguistici di grandi dimensioni generalizzano la conoscenza molto peggio degli umani. Ad esempio, se un ricercatore alle prime armi viene formato da un collega più anziano attraverso l'analisi dei suoi lavori, con spiegazioni e discussioni congiunte, per addestrare un modello è necessario creare un piano preciso, in cui il raggiungimento di risultati rigorosamente formalizzati viene verificato in ogni fase e per l'addestramento vengono utilizzati enormi set di dati con esempi. Anche in questo caso, l'essere umano dimostrerà risultati di apprendimento superiori rispetto all'AI. La comunità scientifica non ha ancora trovato un modo per colmare questo divario.
Questa visione di Sutskever si inserisce in un dibattito più ampio sul futuro dell'AI. Mentre molte aziende continuano a investire massicciamente nella scalabilità e nell'aumento delle risorse computazionali, altri, come Sutskever, ritengono che sia necessario un cambio di paradigma. La vera innovazione, secondo questa prospettiva, risiede nella ricerca di nuovi algoritmi, nuovi approcci all'apprendimento e una comprensione più profonda dei meccanismi dell'intelligenza. Il futuro dell'AI, quindi, potrebbe non essere semplicemente una questione di potenza di calcolo, ma di ingegno e creatività scientifica. Le implicazioni di questo cambiamento di direzione sono enormi e potrebbero ridefinire il modo in cui l'AI viene sviluppata e utilizzata in futuro.
