Intelligenza artificiale, lo studio di CLEAR rivela la nuova disuguaglianza digitale basata sulla lingua

La Coalition for Language Equality in AI Research (CLEAR) ha documentato la nascita di una nuova forma di disuguaglianza digitale legata all'uso dell'intelligenza artificiale. Se vent'anni fa il divario era definito principalmente dalla limitazione dell'accesso alla rete internet, le recenti analisi evidenziano come oggi il costo di elaborazione dei dati vari sensibilmente a seconda della lingua utilizzata. Questo fenomeno, definito dai ricercatori come la tassa sul tokenizzatore, penalizza i parlanti di lingue meno diffuse, rendendoli più vulnerabili dal punto di vista economico e tecnologico.

Il fulcro della questione risiede nei token, ovvero i frammenti di testo, audio o video in cui un algoritmo specifico, denominato tokenizzatore, scompone i dati in ingresso prima che vengano elaborati dal modello linguistico. Poiché molti servizi commerciali di intelligenza artificiale calcolano il prezzo di utilizzo in base al numero di token, la scomposizione di un testo in una quantità maggiore di frammenti aumenta i costi per gli utenti che non utilizzano l'inglese. I ricercatori hanno confrontato l'elaborazione dei dati utilizzando il corpus FLORES-200, che include traduzioni parallele in circa duecento lingue. Secondo i risultati pubblicati, tra le venti lingue più comuni sul web, la differenza nel numero di token necessari tra le varianti più e meno dispendiose varia da 1,5 a 5 volte a seconda del modello utilizzato.

L'analisi rivela che, espandendo il campione a duecento lingue, il divario per alcuni modelli arriva a essere diciassette volte superiore. Per esempio, un testo in malayalam, lingua parlata nell'India meridionale, viene suddiviso in molti più frammenti rispetto a un testo equivalente in inglese. In un caso specifico riportato dalla ricerca, una frase che in inglese richiede 13 token ne necessita 26 in malayalam. Sebbene non esista un rapporto di costo fisso, l'inglese mantiene un vantaggio costante nella maggior parte degli scenari di elaborazione.

Oltre al fattore economico, la tassa sul tokenizzatore comporta una riduzione dello spazio di contesto disponibile. Questo limite è considerato dai ricercatori potenzialmente più critico della spesa monetaria. A parità di limite massimo di token, una lingua che richiede più frammenti lascia meno spazio per l'inserimento di documenti, cronologia dei messaggi o altri dati necessari al funzionamento del sistema. Inoltre, l'aumento dei token accresce il carico computazionale e la latenza della risposta. Le criticità maggiori si riscontrano per gli idiomi che utilizzano sistemi di scrittura poco rappresentati nei dati di addestramento, come il birmano, il tibetano, il khmer, il laotiano e le scritture Tifinagh e Ol Chiki. Al contrario, lingue meno diffuse come l'asturiano possono beneficiare dell'uso dell'alfabeto latino e della somiglianza con altre lingue romanze.

Per ridurre questo divario, gli esperti propongono di ampliare la presenza di dati multilingue di alta qualità nei set di addestramento e di sviluppare tokenizzatori specifici per diverse scritture. Tuttavia, l'aumento della massa di dati non garantisce autonomamente la risoluzione del problema, rendendo necessario il perfezionamento degli algoritmi di scomposizione del testo da parte degli sviluppatori di modelli di intelligenza artificiale.