Cos'è OLMo 2
OLMo 2 è una famiglia di modelli di linguaggio di grandi dimensioni (Large Language Models, LLM) sviluppata dall'Allen Institute for AI (Ai2), un centro di ricerca no-profit statunitense fondato da Paul Allen. È la seconda generazione del progetto OLMo (Open Language Model), pensato per offrire modelli linguistici completamente aperti: non solo i pesi finali, ma anche il codice di addestramento, i dataset, le ricette di post-training e i checkpoint intermedi.
A differenza dei modelli "open weight", che pubblicano solo i pesi senza rivelare dati e metodologie, OLMo 2 rende disponibile l'intero flusso di sviluppo. La famiglia principale annunciata da Ai2 comprende modelli base e istruiti da 7 e 13 miliardi di parametri, con versioni dedicate alla ricerca, al fine-tuning e all'uso conversazionale.
A cosa serve
OLMo 2 è un modello autoregressivo decoder-only: predice il token successivo partendo da un contesto dato, generando così testo coerente. Le varianti base sono adatte a chi vuole addestrare ulteriormente il modello su dati proprietari, fare ricerca sui meccanismi di apprendimento o costruire modelli verticalizzati. Le varianti Instruct, invece, sono state ottimizzate per seguire istruzioni, sostenere dialoghi multi-turn e rispondere in modo utile a richieste complesse.
Gli ambiti di applicazione spaziano dai chatbot aziendali agli assistenti virtuali, dagli strumenti di supporto alla scrittura all'analisi di documenti, dalla classificazione di testi alla generazione di snippet di codice, dall'estrazione di informazioni strutturate alla prototipazione di agenti intelligenti. La licenza permissiva Apache 2.0 consente l'uso commerciale senza royalty, rendendo il modello interessante anche per prodotti e servizi.
Come funziona
L'architettura di OLMo 2 si basa sul classico Transformer decoder-only, ma introduce diverse migliorie per stabilizzare l'addestramento su lunghe run. Ai2 ha adottato RMSNorm al posto della layer norm classica, ha riordinato la normalizzazione come in alcuni modelli recenti, ha introdotto QK-Norm e ha sostituito gli embedding posizionali assoluti con RoPE (Rotary Position Embedding). È stata inoltre applicata la regolarizzazione Z-loss e un'inizializzazione più attenta per preservare la scala di attivazioni e gradienti attraverso gli strati.
Il pre-training avviene in due stadi. Nella prima fase, che copre oltre il 90% del budget computazionale, il modello viene addestrato su OLMo-Mix-1124, una miscela di circa 3,9 trilioni di token provenienti da fonti come DCLM, Dolma, Starcoder e Proof Pile II. Nella seconda fase si usa Dolmino-Mix-1124, una collezione di 843 miliardi di token di qualità superiore, composta da dati web filtrati, contenuti accademici, forum di domande e risposte, dati di istruzione e materiale matematico, sia umano che sintetico.
I modelli 7B e 13B vengono esposti rispettivamente a circa 4T e 5T di token: il 7B per circa un'epoca sul mix di stage 1, il 13B per 1,2 epoche. Per ottenere il checkpoint finale, Ai2 addestra più copie a partire da un checkpoint intermedio, variando l'ordine dei dati, e le combina con una tecnica chiamata model souping. Le versioni Instruct derivano dall'applicazione della ricetta Tülu 3: supervised fine-tuning (SFT), preference tuning con DPO e reinforcement learning con ricompense verificabili (RLVR).
La valutazione avviene tramite OLMES (Open Language Modeling Evaluation System), un framework interno composto da circa 20 benchmark che misurano capacità di richiamo della conoscenza, ragionamento commonsense, ragionamento matematico e comprensione generale. Nei test pubblicati da Ai2, OLMo 2 7B risulta competitivo con Llama 3.1 8B, mentre OLMo 2 13B supera modelli come Qwen 2.5 7B, pur con un budget computazionale inferiore.
Perché conta per founder, PMI e agenzie italiane
Per un'impresa italiana, il vantaggio principale di OLMo 2 non è solo la performance, ma la trasparenza e il controllo operativo. Avere accesso a pesi, dati, codice e ricette significa poter ospitare il modello on-premise o in cloud privato, mantenendo i dati dei clienti all'interno dei propri confini giurisdizionali. Questo è fondamentale per la conformità al GDPR e per settori come sanità, legale, finanza e pubblica amministrazione.
La licenza Apache 2.0 elimina incertezze legali e costi di licenza variabili: l'unico costo è quello dell'infrastruttura di calcolo, prevedibile e gestibile. Inoltre, la visibilità completa sulle fonti di addestramento permette di valutare quali bias possano esserci, quali lingue siano rappresentate e quali limiti di conoscenza il modello abbia. Va notato che OLMo 2 è principalmente addestrato su inglese, quindi per applicazioni in italiano è spesso necessario un fine-tuning mirato o l'uso di pipeline RAG.
Per startup e agenzie, OLMo 2 offre una base aperta su cui costruire prodotti proprietari, riducendo la dipendenza da API chiuse e proteggendo il know-how. Rispetto ai modelli open weight come Llama, OLMo 2 consente di auditarne l'intero ciclo di vita: si può sapere esattamente su quali dati è stato addestrato, replicare le metriche di valutazione e persino riprendere l'addestramento da un checkpoint intermedio. È possibile addestrare modelli verticali su documentazione tecnica, testi giuridici, conversazioni di customer care o cataloghi di prodotti, senza condividere i dati con terze parti. La disponibilità dei checkpoint intermedi consente anche esperimenti di apprendimento continuo e tecniche come l'unlearning, utili per gestire diritti e obblighi normativi sui dati.
Dove trovarlo
OLMo 2 è scaricabile gratuitamente da Hugging Face nelle varianti base e Instruct:
- allenai/OLMo-2-1124-7B
- allenai/OLMo-2-1124-13B
- allenai/OLMo-2-1124-7B-Instruct
- allenai/OLMo-2-1124-13B-Instruct
Il codice sorgente, gli script di addestramento e la documentazione sono pubblici nel repository GitHub allenai/OLMo. Ai2 mette a disposizione una playground online per testare le versioni Instruct direttamente nel browser. I dataset OLMo-Mix-1124 e Dolmino-Mix-1124 sono anch'essi accessibili, insieme al report tecnico dettagliato. Per l'inferenza in produzione, il modello è compatibile con l'ecosistema Hugging Face Transformers e con motori come vLLM.