Prima di procedere
Una recente ricerca condotta da scienziati di Regno Unito e Stati Uniti ha sollevato serie preoccupazioni riguardo all'affidabilità dei test utilizzati per valutare la sicurezza e le prestazioni dei nuovi modelli di Intelligenza Artificiale (IA). Lo studio, condotto dall'Istituto per la Sicurezza dell'IA del governo britannico in collaborazione con esperti delle università di Oxford, Stanford e California a Berkeley, ha esaminato oltre 440 test, rivelando difetti significativi che compromettono la validità delle valutazioni finali.
I ricercatori hanno scoperto che quasi tutti i test presentano delle lacune in almeno un'area critica, rendendo i risultati ottenuti obsoleti o addirittura fuorvianti. Questi test, spesso utilizzati dagli sviluppatori, comprese le principali aziende tecnologiche, per valutare la conformità dei loro modelli agli standard di sicurezza e alle capacità dichiarate in termini di ragionamento, risoluzione di problemi matematici e scrittura di codice, mancano di un sistema di valutazione unificato e standardizzato.
Il Guardian ha riportato che Google è stata costretta a ritirare il suo modello IA Gemma dopo che quest'ultimo aveva accusato un senatore statunitense di un crimine delicato nei confronti di un agente di polizia. Google ha dichiarato che i modelli Gemma erano destinati a sviluppatori e ricercatori, non al pubblico, ma li ha rimossi dalla piattaforma AI Studio a seguito di segnalazioni di utilizzo improprio. L'azienda ha ammesso che le "allucinazioni", in cui i modelli inventano risposte, e il "paraculismo", in cui i modelli dicono agli utenti ciò che vogliono sentirsi dire, rappresentano problemi per l'intero settore dell'IA, specialmente per i modelli più piccoli come Gemma. Google ha assicurato che continuerà a impegnarsi per ridurre al minimo le allucinazioni e migliorare costantemente tutti i suoi modelli.
Lo studio ha evidenziato che solo il 16% dei test utilizza metodi statistici per valutare il margine di errore e determinare l'accuratezza dei risultati. In molti casi, la definizione di caratteristiche cruciali come la "non nocività" di un modello IA è risultata insufficientemente chiara, compromettendo il valore complessivo del test. Gli scienziati hanno sottolineato la necessità di sviluppare standard unificati per valutare l'efficacia e la sicurezza dei modelli di IA, dato che i benchmark proprietari utilizzati dalle aziende leader del settore non sono ancora stati esaminati dalla comunità scientifica.
Questi risultati sollevano interrogativi importanti sull'affidabilità delle valutazioni attuali e sulla necessità di rivedere i metodi di test per garantire che i modelli di IA siano sicuri, affidabili e allineati con gli interessi umani. L'assenza di standard uniformi e di definizioni chiare delle caratteristiche da valutare rappresenta un rischio significativo, in quanto potrebbe portare alla diffusione di modelli IA con potenziali conseguenze negative. È fondamentale che la comunità scientifica, le aziende tecnologiche e i governi collaborino per sviluppare test più rigorosi e trasparenti, in modo da garantire che l'IA sia utilizzata in modo responsabile e a beneficio di tutti.
L'evoluzione dell'Intelligenza Artificiale sta avanzando a un ritmo esponenziale, e con essa cresce la necessità di sistemi di valutazione affidabili e completi. La ricerca evidenzia come i test attuali siano inadeguati a valutare pienamente i rischi e le potenzialità di queste tecnologie. L'impatto di tali lacune potrebbe essere significativo, influenzando settori cruciali come la sanità, la finanza e la sicurezza. Pertanto, è imperativo che vengano implementati standard più elevati per garantire che l'IA sia sviluppata e implementata in modo etico e responsabile.
