Cos'è Molmo
Molmo è una famiglia di modelli di intelligenza artificiale multimodale sviluppata dall'Allen Institute for AI (Ai2), un istituto di ricerca no-profit con sede a Seattle. Il nome sta per Multimodal Open Language Model: l'obiettivo è combinare la comprensione del linguaggio naturale con la capacità di analizzare immagini e, nelle versioni più recenti, anche video. A differenza di molti concorrenti proprietari, Molmo è distribuito come open weight e, in molti casi, include anche codice, dati di addestramento e documentazione tecnica aperta.
La famiglia include varianti di diversa dimensione. Le prime versioni comprendono MolmoE-1B (un modello mixture-of-experts con 1 miliardo di parametri attivi su 7 miliardi totali), Molmo-7B-O (basato sul modello linguistico OLMo di Ai2), Molmo-7B-D (basato su Qwen2 7B) e Molmo-72B (basato su Qwen2 72B). Esiste poi Molmo 2, evoluzione con modelli da 4B, 7B e 8B parametri, pensata per il ragionamento visivo, la comprensione video, il pointing e il tracking di oggetti.
A cosa serve
Molmo serve a qualsiasi applicazione in cui un software deve "capire" ciò che mostra un'immagine o un video e rispondere in linguaggio naturale. Gli usi tipici includono: descrizione dettagliata di fotografie, risposta a domande visive (visual question answering), estrazione di testo dalle immagini, conteggio di oggetti, localizzazione di elementi in una scena e supporto a flussi di lavoro che combinano testo e visione.
Una caratteristica distintiva è la capacità di indicare ciò che vede: se gli si chiede dove si trova un oggetto, Molmo può restituire coordinate o punti sull'immagine, non solo una descrizione testuale. Questo lo rende adatto a scenari di grounding visivo, assistenza robotica, accessibilità, automazione di interfacce e sviluppo di agenti AI che interagiscono con il mondo fisico e digitale.
Come funziona
Molmo è un vision-language model (VLM): accetta in input una o più immagini (o fotogrammi video) insieme a un prompt testuale e genera una risposta coerente con entrambi i contenuti. L'architettura combina un encoder visivo con un large language model che produce il testo. Nella prima generazione l'encoder visivo è un CLIP ViT-L/14 addestrato su risoluzione 336 pixel; le versioni successive adottano configurazioni ottimizzate per video e compiti di grounding.
A seconda della variante, il backbone linguistico può essere OLMo, Qwen2, Qwen3 o altri modelli open. MolmoE-1B utilizza un'architettura mixture-of-experts per attivare solo una frazione dei parametri per token, riducendo i requisiti computazionali pur mantenendo buone prestazioni. Le varianti 7B e 72B sfruttano invece backbone densi per massimizzare la qualità del ragionamento.
Il punto di forza di Molmo risiede nella qualità dei dati di addestramento. Ai2 ha costruito PixMo, una raccolta di dataset aperti che include didascalie dettagliate per il pre-training, domande e risposte libere per il fine-tuning e un dataset innovativo di pointing 2D, in cui gli annotatori umani indicano oggetti nelle immagini. Questo approccio consente al modello di apprendere relazioni spaziali precise e di competere con modelli di dimensioni molto maggiori su benchmark accademici.
Versioni e licenza
La licenza di base delle varianti Molmo originali è Apache 2.0, una delle più permissive per l'ecosistema open source, che consente uso commerciale, ricerca e integrazione in prodotti proprietari. I pesi, il codice, i log di training e i dataset PixMo sono resi pubblici per favorire la ricerca riproducibile.
Va però notato che Molmo 2 integra anche dataset di terze parti vincolati a uso accademico e non commerciale. Per questo motivo chi intende usare Molmo 2 in produzione deve verificare i termini specifici della variante prescelta, leggendo la scheda del modello su Hugging Face e il relativo tech report.
Perché conta per founder, PMI e agenzie italiane
Per founder, piccole e medie imprese e agenzie digitali italiane, Molmo rappresenta un'alternativa concreta ai modelli multimodali proprietari. Prima di tutto, riduce la dipendenza da API esterne e dai costi per token: una volta scaricati i pesi, il modello può girare on-premise o su cloud privato, anche se le varianti più grandi richiedono GPU dedicate.
In secondo luogo, offre trasparenza. Essendo open weight, consente di ispezionare il modello, adattarlo con fine-tuning su dati aziendali e integrarlo in prodotti senza rischi legati a policy opache di fornitori terzi. Per un'agenzia che sviluppa chatbot, assistenti virtuali o strumenti di content moderation visiva, questa flessibilità si traduce in differenziazione competitiva.
Un terzo vantaggio è la sovranità dei dati. Le aziende italiane, specialmente quelle che trattano informazioni sensibili o operano in settori regolamentati, possono mantenere immagini e documenti all'interno del proprio perimetro di sicurezza. Questo semplifica la conformità al GDPR e riduce il rischio di data leakage verso servizi cloud di terze parti.
Infine, le capacità di pointing e grounding aprono scenari pratici: catalogazione automatica di prodotti ecommerce, verifica di planimetrie e documenti, annotazione di immagini per settori come moda, arredamento, manifattura e agricoltura di precisione. Per le PMI che operano con budget limitati, la possibilità di partire da varianti leggere come 7B o 8B e scalare solo se necessario è un vantaggio strategico.
Dove trovarlo
Molmo è disponibile in più canali ufficiali. I pesi e i file di configurazione si trovano su Hugging Face sotto l'organizzazione allenai, con repository dedicati come allenai/Molmo-7B-D, allenai/Molmo-72B e allenai/Molmo2-8B. Il codice sorgente, gli script di training e di valutazione sono pubblicati su GitHub nel repository allenai/molmo.
Per chi vuole provare il modello senza installarlo, Ai2 mette a disposizione un playground pubblico nel proprio sito. Inoltre Molmo è accessibile tramite piattaforme di inference come OpenRouter e tramite l'API di Ai2 per chi ha bisogno di endpoint gestiti con throughput elevato.
La documentazione tecnica completa è pubblicata nell'articolo scientifico Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Vision-Language Models, consultabile su arXiv con identificativo 2409.17146. Lì si trovano dettagli su architettura, dati, procedure di valutazione e risultati dei benchmark.