Nvidia lancia Nemotron 3.5 Transcribe: analisi audio e trascrizione IA per 40 lingue

Nvidia ha ufficializzato il rilascio di Nemotron 3.5 Transcribe, un nuovo modello di intelligenza artificiale a pesi aperti specializzato nel riconoscimento vocale, nella traduzione e nell'analisi di file audio. Il sistema è progettato per gestire registrazioni con una durata massima di un'ora, offrendo supporto per 40 lingue diverse, incluso il russo, e funzionalità avanzate per l'identificazione dei parlanti. Insieme al modello, l'azienda ha reso disponibili nuovi set di dati e strumenti di sviluppo per consentire agli utenti di adattare l'IA a compiti specialistici e settori tecnici specifici.

Le capacità tecniche di questo modello permettono di riconoscere il parlato in 40 idiomi, gestire traduzioni da e verso l'inglese per 31 lingue e identificare gli interlocutori in 13 lingue differenti. Una delle caratteristiche distintive della tecnologia è la capacità di elaborare dialoghi complessi che coinvolgono fino a otto persone contemporaneamente, mantenendo l'accuratezza anche in presenza di sovrapposizioni vocali tra i partecipanti. Attraverso istruzioni testuali, gli utenti possono richiedere la trascrizione completa con i nomi dei parlanti, sintesi delle decisioni prese durante una riunione o risposte a domande specifiche basate sul contenuto dell'audio, fornendo se necessario suggerimenti su termini tecnici e medici.

Sul piano dell'efficienza computazionale, il modello conta un totale di 30 miliardi di parametri, di cui circa 4 miliardi risultano attivi durante l'elaborazione di ogni singolo frammento di dati tramite un'architettura Mixture-of-Experts. Questa configurazione consente al sistema di operare anche su singole schede grafiche, come la DGX Spark. Utilizzando hardware di fascia alta, quale la RTX PRO 6000 Blackwell Server Edition, il software è in grado di processare 100 ore di materiale audio in meno di tre minuti sfruttando il formato di precisione NVFP4.

Il modello ha ottenuto risultati di rilievo nei test di settore indipendenti. Nella classifica Open ASR Leaderboard sulla piattaforma Hugging Face, il sistema si è posizionato al primo posto tra i modelli a pesi aperti con un tasso di errore medio delle parole (WER) del 5,33%. Ulteriori verifiche condotte da Artificial Analysis hanno registrato un margine di errore del 2,81%, un valore prossimo a quello di modelli come Mistral Voxtral Small, pur avendo un numero di parametri attivi sensibilmente inferiore. Nelle prove di VoiceArena, focalizzate sulla gestione di più voci sovrapposte, il modello ha guidato la classifica con una percentuale di parole omesse dell'8,32%, contro una media di mercato vicina al 31%.

Parallelamente al modello, l'azienda ha presentato Granary v2, un set di dati che comprende circa 844.000 ore di registrazioni audio in 48 lingue, superando la versione precedente che ne conteneva 643.000 in 25 lingue. Questi dati includono trascrizioni letterali, comprensive di intercalari, e versioni in cui i numeri vengono scritti in lettere. L'efficacia degli strumenti di adattamento è stata dimostrata in ambito medico: l'addestramento specifico su registrazioni di medici e studenti indiani ha permesso di abbattere il tasso di errore dal 30,8% all'11,8% su campioni già noti e dal 22,44% al 12,17% su voci nuove.

Il software e il database sono attualmente accessibili tramite la piattaforma per sviluppatori. L'azienda fornisce inoltre una versione dimostrativa e guide per l'addestramento personalizzato, includendo estensioni che permettono di delegare la preparazione dei dati a un assistente IA. Poiché il sistema è ottimizzato per l'elaborazione di registrazioni già esistenti e non per il flusso audio in tempo reale, il produttore raccomanda una verifica manuale dei nomi propri e dei punti di transizione tra i diversi oratori per garantire la massima precisione.