Prima di procedere
Apple ha recentemente pubblicato tre studi di ricerca che offrono una panoramica approfondita su come lo sviluppo basato sull'Intelligenza Artificiale (IA) potrebbe rivoluzionare i flussi di lavoro, la qualità e la produttività nel settore dello sviluppo software. Questi studi esplorano diverse applicazioni dell'IA, dalla predizione di difetti software alla generazione automatica di test, fino alla creazione di agenti in grado di correggere il codice.
Il primo studio, intitolato Software Defect Prediction using Autoencoder Transformer Model, presenta un nuovo modello di IA sviluppato dai ricercatori di Apple. Questo modello mira a superare i limiti degli attuali LLM (Large Language Models), come le "allucinazioni", la scarsa contestualizzazione e la perdita di relazioni aziendali critiche durante il recupero delle informazioni, quando si analizzano codebase su larga scala per rilevare e prevedere bug. Il modello, denominato ADE-QVAET, combina quattro tecniche di IA: Adaptive Differential Evolution (ADE), Quantum Variational Autoencoder (QVAE), un livello Transformer e Adaptive Noise Reduction and Augmentation (ANRA). In sintesi, ADE regola il modo in cui il modello apprende, QVAE lo aiuta a comprendere modelli più profondi nei dati, il livello Transformer assicura che il modello tenga traccia di come questi modelli si relazionano tra loro e ANRA pulisce e bilancia i dati per mantenere risultati coerenti. È interessante notare che questo non è un LLM che analizza direttamente il codice, ma esamina metriche e dati relativi al codice, come complessità, dimensione e struttura, alla ricerca di modelli che potrebbero indicare dove è probabile che si verifichino bug. Secondo i ricercatori, quando hanno misurato le prestazioni del modello su un set di dati Kaggle creato appositamente per la previsione di bug software, i risultati sono stati notevoli: durante l'addestramento con una percentuale di addestramento del 90%, ADE-QVAET ha raggiunto un'elevata accuratezza, precisione, richiamo e F1-score del 98,08%, 92,45%, 94,67% e 98,12%, rispettivamente, rispetto al modello ML Differential Evolution (DE). Ciò significa che il modello è stato altamente affidabile nel complesso e molto efficace nell'identificare correttamente i bug reali, evitando al contempo i falsi positivi.
Il secondo studio, Agentic RAG for Software Testing with Hybrid Vector-Graph and Multi-Agent Orchestration, è stato realizzato da quattro ricercatori di Apple, tre dei quali hanno lavorato al modello ADE-QVAET. In questo studio, affrontano un secondo compito dispendioso in termini di tempo affrontato dagli ingegneri della qualità, ovvero la creazione e la manutenzione di piani di test dettagliati e casi per progetti software di grandi dimensioni. In questo studio, sviluppano un sistema che utilizza LLM e agenti di IA autonomi per generare e gestire automaticamente artefatti di test, che vanno dai piani di test ai rapporti di convalida, mantenendo al contempo la piena tracciabilità tra requisiti, logica aziendale e risultati. In altre parole, hanno costruito un sistema di IA in grado di pianificare, scrivere e organizzare test software autonomamente, il che potrebbe aiutare a semplificare il flusso di lavoro degli ingegneri della qualità, che "trascorrono il 30-40% del loro tempo a creare artefatti di test fondamentali, come piani di test, casi e script di automazione". Come per il modello ADE-QVAET, i risultati qui sono stati piuttosto promettenti: il sistema raggiunge notevoli miglioramenti dell'accuratezza dal 65% al 94,8%, garantendo al contempo una tracciabilità completa dei documenti durante l'intero ciclo di vita dell'ingegneria della qualità. La convalida sperimentale dei progetti aziendali di Corporate Systems Engineering e migrazione SAP dimostra una riduzione dell'85% dei tempi di test, un miglioramento dell'85% dell'efficienza della suite di test e un risparmio sui costi previsto del 35%, con un'accelerazione di 2 mesi del go-live. D'altra parte, i ricercatori hanno anche notato che il framework presenta limitazioni, incluso il fatto che il loro lavoro si è concentrato solo su "Employee Systems, Finance e ambienti SAP", limitandone le capacità di generalizzazione.
Il terzo studio, Training Software Engineering Agents and Verifiers with SWE-Gym, è forse il più interessante e ambizioso dei tre. Mentre i due studi precedenti si sono concentrati sulla previsione di dove è probabile che compaiano i bug e su come vengono testati e convalidati, l'idea alla base di SWE-Gym è quella di addestrare agenti di IA in grado di correggere effettivamente i bug imparando a leggere, modificare e verificare il codice reale. SWE-Gym è stato costruito utilizzando 2.438 compiti Python del mondo reale provenienti da 11 repository open source, ciascuno con un ambiente eseguibile e una suite di test in modo che gli agenti potessero esercitarsi a scrivere e debuggare il codice in condizioni realistiche. I ricercatori hanno anche sviluppato SWE-Gym Lite, che includeva 230 compiti più semplici e autonomi progettati per rendere l'addestramento e la valutazione più veloci e meno costosi dal punto di vista computazionale. Secondo lo studio, gli agenti addestrati con SWE-Gym hanno risolto correttamente il 72,5% dei compiti, superando i precedenti benchmark di oltre 20 punti percentuali. Nel frattempo, SWE-Gym Lite ha ridotto i tempi di addestramento di quasi la metà rispetto alla configurazione completa, fornendo risultati simili. D'altra parte, la variante Lite include molti meno compiti di codifica e molto più semplici, il che la rende meno efficace per testare i modelli su problemi più grandi e complessi.
