Llama 3.2 Vision (Meta): modello multimodale open per immagini e testo

Cos'è Llama 3.2 Vision

Llama 3.2 Vision è la famiglia di modelli multimodali rilasciata da Meta che estende i modelli testuali Llama 3.1 con la capacità di ricevere in input sia testo sia immagini e generare output testuali. Annunciata il 25 settembre 2024, la famiglia esiste in due dimensioni principali: 11B (circa 10,6 miliardi di parametri effettivi) e 90B (circa 88,8 miliardi). Entrambe le varianti condividono un contesto massimo di 128.000 token, utilizzano la Grouped-Query Attention (GQA) per rendere l'inferenza più efficiente e sono state addestrate su circa 6 miliardi di coppie immagine-testo. Il knowledge cutoff dei dati di pre-training è dicembre 2023.

A differenza dei modelli testuali puri, Llama 3.2 Vision può descrivere il contenuto di una foto, rispondere a domande su un'immagine, estrarre informazioni da documenti scansionati e collegare regioni visive a descrizioni linguistiche. È rilasciato sotto la Llama 3.2 Community License, una licenza commerciale personalizzata che permette l'uso in ricerca e in produzione, con l'unica clausola rilevante che obbliga le aziende con oltre 700 milioni di utenti attivi mensili a richiedere un'autorizzazione specifica a Meta.

A cosa serve

Il modello è progettato per compiti di image reasoning: non si limita a riconoscere oggetti, ma cerca di ragionare sulle relazioni tra gli elementi visivi e il testo. Gli use case ufficiali includono:

• Visual Question Answering (VQA): rispondere a domande in linguaggio naturale su un'immagine.
• DocVQA: estrarre e comprendere testo e layout da documenti, moduli, mappe o contratti.
• Image Captioning: generare didascalie descrittive e contestuali.
• Image-Text Retrieval: abbinare immagini e descrizioni per motori di ricerca semantici.
• Visual Grounding: individuare in un'immagine le regioni a cui si riferisce una frase.

Per i soli compiti testuali, il modello supporta ufficialmente otto lingue: inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thai. Per le applicazioni che combinano immagini e testo, invece, il supporto ufficiale è limitato all'inglese, anche se è possibile addestrare varianti locali su corpus multilingue. Esempi concreti per il mercato italiano includono la classificazione automatica di schede prodotto per l'e-commerce, l'estrazione di dati da fatture e bolle di consegna, la verifica visiva in cantieri o impianti e l'assistenza alla manutenzione basata su foto tecniche.

Come funziona

Llama 3.2 Vision si appoggia all'architettura di Llama 3.1, un transformer autoregressivo ottimizzato. Per gestire le immagini, Meta ha aggiunto un vision adapter composto da strati di cross-attention che collegano un image encoder pre-addestrato al linguaggio di base. Durante l'addestramento dell'adapter, i parametri dell'encoder visivo sono stati aggiornati, mentre quelli del modello linguistico sono rimasti congelati: in questo modo le capacità testuali del modello restano intatte e il modello visivo può essere usato come sostituto quasi diretto dei corrispondenti Llama 3.1 testuali.

Le versioni instruction-tuned sono state allineate con tecniche di supervised fine-tuning (SFT) e reinforcement learning from human feedback (RLHF), così da essere più utili e sicure in scenari conversazionali. La versione base, invece, è pensata per essere adattata a compiti specifici tramite fine-tuning. La Grouped-Query Attention (GQA) riduce l'occupazione di memoria durante la generazione condividendo i pesi delle testine di attenzione per le query, il che rende il modello più scalabile sia in cloud sia in deploy locali con GPU di fascia media.

Perché conta per founder, PMI e agenzie italiane

Per chi sviluppa prodotti digitali in Italia, Llama 3.2 Vision offre un punto di equilibrio raro: prestazioni elevate, peso gestibile nella variante 11B e una licenza che consente l'uso commerciale senza costi di licenza diretti. Questo lo rende interessante per:

• Startup e founder: possono prototipare funzionalità di visione — catalogo prodotti automatico, assistente visivo, verifica documentale — senza dipendere esclusivamente da API a consumo.
• PMI: possono ospitare la variante 11B on-premise o su infrastrutture private, mantenendo i dati in casa e riducendo i costi ricorrenti di inferenza su larga scala.
• Agenzie e software house: possono integrare analisi visiva in piattaforme di content moderation, DAM, e-commerce o automazione documentale, con la flessibilità di personalizzare il modello sui dataset dei clienti.

La possibilità di eseguire il modello in locale o in cloud privato risponde anche a esigenze di sovranità dei dati e di conformità normativa, un tema rilevante per settori come sanità, finanza, pubblica amministrazione e manifattura avanzata. La presenza dell'italiano tra le lingue supportate per il testo è un vantaggio concreto, anche se per ora le capacità visivo-testuali ufficiali sono ottimizzate per l'inglese. È comunque possibile fare fine-tuning su corpus italiani, a patto di rispettare i termini della licenza.

Dove trovarlo e come usarlo

Llama 3.2 Vision è distribuito attraverso più canali:

• Hugging Face: i pesi sono disponibili nei repository ufficiali meta-llama/Llama-3.2-11B-Vision e meta-llama/Llama-3.2-90B-Vision, con varianti base e instruction-tuned. L'uso richiede l'accettazione della licenza.
• llama.meta.com / llama.com: portale ufficiale per il download dei checkpoint e la documentazione.
• Ollama: consente di eseguire la variante 11B in locale con pochi comandi, anche in versioni quantizzate per ridurre l'occupazione di memoria.
• Piattaforme cloud: il modello è disponibile su AWS Bedrock, Oracle Cloud Infrastructure (OCI) Generative AI e NVIDIA NIM.
• Framework: è supportato da Transformers (≥ 4.45) con la classe MllamaForConditionalGeneration, oltre che dal codice ufficiale llama di Meta e da formati quantizzati GGUF per l'esecuzione su hardware consumer.

La variante 11B in BF16 richiede hardware ragionevolmente accessibile per un modello di questa classe (GPU con quantità adeguate di VRAM o configurazioni quantizzate), mentre la 90B è destinata a infrastrutture enterprise o a cloud managed. Per molti usi pratici, la versione 11B instruction-tuned rappresenta il miglior compromesso tra qualità, latenza e costo di esercizio.

Limiti e cautele

Come ogni modello fondazionale, Llama 3.2 Vision non è esente da rischi. Può generare risposte imprecise, mostrare bias presenti nei dati di addestramento, allucinare dettagli non presenti nell'immagine o fallire in compiti che richiedono ragionamento geometrico o spaziale fine. Inoltre, la licenza impone restrizioni per le immagini nel caso di utenti o aziende con sede nell'Unione Europea: i diritti per i modelli multimodali non sono concessi a individui o società con sede principale nell'UE, sebbene gli utenti finali di prodotti che incorporano il modello non siano colpiti. Prima di un deploy commerciale è necessario valutare la conformità alla licenza, eseguire test di sicurezza mirati sul proprio dominio e, se necessario, integrare guardrail come Llama Guard.