Prima di procedere
L'ampia diffusione dei modelli linguistici di grandi dimensioni (LLM) ha inevitabilmente portato al loro impiego nella redazione di lavori scientifici. Un gruppo di ricercatori ha cercato di valutare quantitativamente l'utilizzo dell'IA nella preparazione delle pubblicazioni, ottenendo risultati contrastanti: luci e ombre. Per ora, la situazione è parzialmente salvaguardata dai revisori, ma se anche loro si affidassero all'IA, le conseguenze potrebbero essere gravi.
Considerato che articoli palesemente privi di senso logico hanno iniziato a infiltrarsi anche in riviste scientifiche di alto livello – come dimostra il crescente numero di ritrattazioni di lavori dopo la loro pubblicazione – studiosi delle università di Berkeley e Cornell hanno condotto un'analisi sull'uso dell'IA nella preparazione di articoli scientifici per la pubblicazione. Hanno preso in esame l'arco temporale tra il 2018 e la metà del 2024, comprendendo sia periodi precedenti all'avvento dei grandi modelli linguistici, sia successivi.
In totale, sono stati analizzati circa 2 milioni di articoli provenienti dai siti di pre-pubblicazione arXiv (1,2 milioni), dalle riviste online SSRN (675 mila) e bioRxiv (220 mila). I ricercatori hanno sottoposto i riassunti delle prime pubblicazioni (prive di IA) a un modello, per poi elaborarli con un editor basato sull'IA e, infine, rianalizzarli con il modello, al fine di insegnare a quest'ultimo a distinguere la creazione puramente umana da quella generata automaticamente.
È emerso che, dopo l'inizio dell'utilizzo dell'IA, gli autori hanno significativamente incrementato la presentazione di lavori. Questo fenomeno è stato particolarmente evidente tra gli studiosi provenienti dall'Asia o con nomi asiatici. L'aumento del numero di pubblicazioni ha raggiunto il 100% su bioRxiv e SSRN, e oltre il 40% su arXiv. I ricercatori hanno attribuito questo incremento all'aiuto fornito dall'IA agli studiosi nel superare le barriere linguistiche, poiché per molti di loro l'inglese non era la lingua madre. In generale, ciò ha avuto un impatto positivo, in quanto ha permesso di diffondere i lavori a un pubblico più ampio, utilizzando un linguaggio comprensibile alla maggioranza.
Inoltre, l'IA ha reso i testi più "intelligenti", incrementandone la complessità linguistica, il che ha generato maggiore fiducia nelle pubblicazioni. In media, le persone scrivono in modo più semplice e non sempre riescono a esprimere chiaramente i propri pensieri. Tuttavia, è emerso anche un lato negativo: i testi scritti dall'IA raggiungono meno frequentemente la pubblicazione, rimanendo allo stato di pre-pubblicazione. Nel frattempo, il passaggio di un lavoro allo stato di pubblicato ne aumenta notevolmente il valore.
Va precisato che il processo di pubblicazione è lungo e spesso si protrae per mesi. Da ciò consegue che una parte degli articoli creati con l'ausilio dell'IA si trova attualmente in una fase intermedia e, pertanto, risulta in qualche modo sottovalutata nello studio condotto. Col tempo, sempre più articoli redatti con l'ausilio dell'IA verranno pubblicati. In tal modo, la correlazione tra chiarezza dell'esposizione in un linguaggio complesso (IA) e frequenza delle pubblicazioni aumenterà.
Un altro vantaggio dei lavori preparati con l'ausilio dell'IA è rappresentato dal crescente numero di riferimenti a studi sull'argomento, nonché dalla considerazione di pubblicazioni recenti. In questo, l'IA ha ampiamente superato l'uomo. Anche se il valore scientifico di un articolo redatto con l'IA fosse limitato, l'ampia selezione di riferimenti lo rende di per sé utile dal punto di vista scientifico. Ovviamente, si tratta di una qualità molto importante, che potrà solo svilupparsi ulteriormente, a condizione che gli autori delle ricerche non si limitino a verificare tutti i riferimenti in autonomia.
Un ulteriore pregio dei lavori che sfruttano l'IA è rappresentato dall'impiego di termini ampiamente utilizzati al posto di quelli eccessivamente specialistici. Ciò rende le pubblicazioni scientifiche comprensibili a una cerchia più ampia di studiosi, il che è di fondamentale importanza per le ricerche interdisciplinari.
Tra i fattori negativi dell'utilizzo dell'IA, i ricercatori evidenziano il divario considerevole tra la bellezza dell'esposizione e la qualità effettiva del lavoro scientifico. Dietro una facciata accattivante potrebbe celarsi una mediocrità che, senza un approfondito esame dell'argomento, è facile non notare.
Gli autori dello studio ammettono, inoltre, di aver potuto sottostimare la frequenza dell'utilizzo dell'IA nella preparazione dei lavori scientifici, il che riduce il valore informativo delle loro conclusioni. Ad esempio, gli studiosi potrebbero aver affidato all'IA la preparazione di una bozza, per poi modificarla sostanzialmente, eliminando completamente i marcatori di origine automatica del testo.
Eppure, l'IA è un potente strumento per esprimere idee, anche se il suo utilizzo rischia di diluire gli standard di qualità dei lavori scientifici. Per ora, a ostacolare questo processo ci sono i revisori umani, ma il loro numero è drasticamente insufficiente. Se anche loro ricorressero all'IA, la situazione relativa al valore delle pubblicazioni scientifiche nel mondo contemporaneo potrebbe peggiorare ulteriormente. È necessario un compromesso ragionevole, ma al momento non è stato ancora trovato.
