Prima di procedere
Un recente studio dell'Università della California del Sud mette in guardia sull'utilizzo di 'role-playing' con i sistemi di intelligenza artificiale. L'idea, diffusa soprattutto agli albori dell'IA, era che 'istruire' i chatbot a impersonare figure professionali (ad esempio, 'sei un esperto programmatore') avrebbe migliorato la qualità del codice generato. Tuttavia, la ricerca dimostra che questa tecnica può, in realtà, peggiorare le performance, specialmente in ambiti in cui l'IA ha già ricevuto un addestramento intensivo, come matematica e programmazione.
Nel 2023, durante l'esplosione dell'interesse verso l'IA generativa, molti ricercatori suggerivano di iniziare le richieste ai chatbot con formule come 'Sei un programmatore esperto nel campo del machine learning'. Si riteneva che questo approccio potesse elevare la qualità del codice prodotto. Nonostante queste raccomandazioni persistano, il nuovo studio evidenzia come l'efficacia di tali 'role play' dipenda strettamente dalla natura del compito. Quando si tratta di materie in cui l'IA possiede già una solida base di conoscenza, l'impersonificazione può rivelarsi controproducente.
La ragione principale è che l'assegnazione di un ruolo non infonde magicamente all'IA nuove competenze o dati aggiuntivi. L'ampiezza dei dati di addestramento rimane invariata. Pertanto, quando l'IA attinge a informazioni preesistenti nel suo database, il 'role-playing' può ostacolare l'accuratezza. Questo è stato confermato dai risultati del test MMLU (Massive Multitask Language Understanding), un benchmark ampiamente utilizzato per valutare le capacità di comprensione e ragionamento delle IA. I risultati hanno mostrato che, quando veniva richiesto all'IA di assumere un ruolo esperto, la qualità delle risposte diminuiva in tutte e quattro le categorie valutate, con un calo della precisione complessiva dal 71,6% al 68,0%.
L'adozione di un ruolo specifico aumenta la probabilità che l'IA fornisca una risposta in linea con le aspettative dell'utente, ma questo può compromettere la qualità intrinseca del compito stesso. L'IA, infatti, tende a concentrarsi maggiormente sull'aderenza al ruolo assegnato, piuttosto che sulla precisione della risposta. Nel contesto della scrittura di codice, tuttavia, l'impersonificazione può favorire una maggiore cura e dettaglio nell'elaborazione dell'interfaccia utente, dell'architettura del progetto e nella selezione degli strumenti appropriati.
Per ovviare a questo problema, i ricercatori hanno proposto un approccio chiamato PRISM (Persona Routing via Intent-based Self-Modeling). Questo sistema consente all'IA di selezionare automaticamente un ruolo da impersonare o, semplicemente, di generare il contenuto richiesto, a seconda della tipologia del compito. Il meccanismo si basa su una tecnica di adattamento a basso rango denominata LoRA (Low-Rank Adaptation).
In conclusione, gli studiosi suggeriscono un approccio pragmatico: 'Se la priorità è la conformità a requisiti specifici (sicurezza, regole, strutture predefinite), è fondamentale esplicitarli chiaramente. Se, invece, l'obiettivo primario è l'accuratezza e la veridicità dei fatti, è preferibile formulare una richiesta diretta, senza intermediazioni di ruolo'. Questo studio apre nuove prospettive sulla gestione delle interazioni con i sistemi di intelligenza artificiale, sottolineando l'importanza di calibrare l'approccio in base al contesto e agli obiettivi specifici.
