Cos'è NVLM 1.0
NVLM 1.0 è una famiglia di modelli di linguaggio multimodale (Multimodal Large Language Model, MLLM) sviluppata da NVIDIA e presentata nel settembre 2024. L'obiettivo del progetto è dimostrare che un modello open weight può competere con i sistemi proprietari di punta su compiti che richiedono contemporaneamente comprensione del testo e dell'immagine. NVIDIA ha rilasciato i pesi e il codice di riferimento per la comunità di ricerca, rendendo NVLM 1.0 un punto di riferimento nello sviluppo di modelli visivo-linguistici aperti.
La famiglia comprende tre varianti architetturali, tutte con 72 miliardi di parametri: NVLM-D, con architettura decoder-only; NVLM-X, basata su cross-attention; e NVLM-H, un'architettura ibrida che combina i vantaggi delle due precedenti. La versione più nota e disponibile pubblicamente è NVLM-D-72B, distribuita attraverso Hugging Face.
A cosa serve
NVLM 1.0 è progettato per risolvere compiti di vision-language e testo puro. Può analizzare immagini, leggere testo presente in scene fotografiche o documenti (OCR), interpretare grafici e tabelle, descrivere dettagliatamente il contenuto visivo e rispondere a domande che richiedono ragionamento multimodale. È inoltre in grado di affrontare problemi di matematica visiva, coding da pseudocodice o screenshot, e domande che combinano conoscenza di mondo e percezione visiva.
Rispetto a molti modelli multimodali aperti, NVLM 1.0 mantiene — e in alcuni casi migliora — le prestazioni sul testo puro rispetto al suo backbone linguistico. Questo lo rende adatto a scenari ibridi in cui un'applicazione deve passare senza soluzione di continuità tra conversazioni testuali e analisi di immagini, senza dover gestire due modelli separati.
Come funziona
L'architettura di NVLM 1.0 si appoggia a due componenti principali: un large language model (LLM) testuale e un encoder visivo. Per le varianti da 72 miliardi di parametri, NVIDIA ha utilizzato Qwen2-72B-Instruct come backbone linguistico e InternViT-6B-448px-V1-5 come encoder delle immagini, mantenuto congelato durante l'addestramento.
Il modello riceve in input testo e immagini. Le immagini vengono suddivise dinamicamente in tessere (tile) ad alta risoluzione, fino a un massimo di 6 tessere più un'anteprima globale. Ogni tessera viene elaborata dall'encoder visivo e trasformata in token visivi. Per aiutare il modello a comprendere la struttura spaziale delle tessere, NVIDIA ha introdotto dei tag testuali 1-D, come <tile_1> o <tile_2>, inseriti prima dei token di ciascuna tessera. Questa tecnica, chiamata tile-tagging, migliora significativamente le prestazioni su compiti OCR e ragionamento multimodale.
Le tre varianti differiscono per come elaborano i token visivi:
- NVLM-D (decoder-only): i token visivi vengono proiettati nello spazio embedding del linguaggio attraverso un MLP a due strati e poi elaborati insieme ai token di testo all'interno del decoder. Questa architettura offre un ragionamento multimodale unificato ed eccelle in compiti OCR.
- NVLM-X (cross-attention): i token visivi vengono letti dal modello linguistico attraverso strati aggiuntivi di cross-attention. Questo approccio riduce la lunghezza delle sequenze durante l'addestramento e l'inferenza, migliorando l'efficienza computazionale con immagini ad alta risoluzione.
- NVLM-H (ibrida): combina i due approcci: l'anteprima globale dell'immagine viene elaborata tramite self-attention nel decoder, mentre le tessere di dettaglio vengono processate tramite cross-attention. L'obiettivo è bilanciare capacità di ragionamento ed efficienza.
L'addestramento avviene in due fasi: un pre-addestramento in cui si allena solo il modulo di allineamento tra visione e linguaggio, e una fase di supervised fine-tuning (SFT) in cui vengono addestrati sia il modulo di allineamento che il LLM, con l'encoder visivo sempre congelato. NVIDIA ha sottolineato che la qualità e la diversità dei dati di addestramento sono più importanti della semplice scala, anche nella fase di pre-addestramento. Il modello supporta un contesto fino a 128.000 token.
Perché conta per founder, PMI e agenzie italiane
Per chi sviluppa prodotti digitali in Italia, NVLM 1.0 rappresenta un'opportunità per sperimentare in locale un modello multimodale di fascia avanzata, senza dipendere esclusivamente da API cloud esterne. Può essere utile per costruire prototipi di assistenti visivi, automazione di documenti, analisi di grafici e report, catalogazione di immagini, supporto al customer care con allegati fotografici e molto altro.
Tuttavia, è fondamentale tenere presente che i pesi del modello sono rilasciati sotto licenza Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0). Questo significa che possono essere usati liberamente per ricerca, sperimentazione e progetti non commerciali, ma non per prodotti o servizi a pagamento senza un accordo specifico con NVIDIA. Per un'azienda italiana che vuole integrare NVLM in un'applicazione commerciale, la strada autorizzata passa attraverso NVIDIA AI Enterprise e la piattaforma NIM per Vision Language Models, che offre un canale di self-hosting con licenza commerciale.
Dal punto di vista tecnico, NVLM 1.0 è particolarmente interessante perché non degrada le capacità testuali del backbone: anzi, le migliora in alcuni benchmark di matematica e programmazione. Per startup e agency questo si traduce nella possibilità di offrire un'esperienza utente unificata, dove lo stesso modello gestisce chat testuali e analisi visive senza perdita di qualità.
Dove trovarlo e come usarlo
I pesi del modello NVLM-D-72B sono disponibili su Hugging Face all'indirizzo nvidia/NVLM-D-72B, insieme al codice di esempio per l'inferenza e la valutazione. Il paper tecnico, intitolato NVLM: Open Frontier-Class Multimodal LLMs, è pubblicato su arXiv con identificativo 2409.11402. Il sito del progetto, nvlm-project.github.io, contiene benchmark, esempi qualitativi e riferimenti aggiuntivi.
Per l'esecuzione sono necessarie risorse hardware molto elevate: NVIDIA ha testato l'inferenza su GPU H100, e il modello richiede tipicamente più GPU per essere caricato in memoria. Il codice di riferimento è basato su PyTorch e viene fornito un Dockerfile per la riproduzione dell'ambiente. Per le aziende che cercano una soluzione pronta per la produzione, NVIDIA propone il modello anche come NIM (NVIDIA Inference Microservice) all'interno del catalogo NVIDIA, con supporto e licenza commerciale tramite NVIDIA AI Enterprise.
Limiti e licenza
Il principale limite di NVLM 1.0 è la licenza non commerciale sui pesi aperti, che ne vincola l'uso commerciale diretto. Inoltre, l'architettura da 72 miliardi di parametri richiede infrastruttura onerosa, rendendo il modello poco adatto a dispositivi edge o a server di piccole dimensioni. Infine, NVLM non è in grado di generare immagini: il suo output è esclusivamente testuale, anche se condizionato da input visivi.
Nonostante questi vincoli, NVLM 1.0 resta un riferimento importante per chi vuole comprendere lo stato dell'arte dei modelli visivo-linguistici aperti e valutare come un'architettura multimodale ben progettata possa competere con i sistemi proprietari più avanzati.