Copertina: Jamba 1.6 (AI21 Labs): modello ibrido SSM-Transformer a contesto lungo

Jamba 1.6 (AI21 Labs): modello ibrido SSM-Transformer a contesto lungo

Famiglia di modelli open a pesi misti che unisce l'architettura Mamba ai Transformer per elaborare fino a 256.000 token con efficienza inferenziale.

20 giugno 20263 min di lettura
Jamba 1.6AI21 LabsMambaTransformerlong contextLLM openfunction callingPMI italiane

Cos'è

Jamba 1.6 è una famiglia di modelli di linguaggio di grandi dimensioni (LLM) sviluppata da AI21 Labs, azienda israeliana fondata nel 2017 da Amnon Shashua, Yoav Shoham e Ori Goshen. Rilasciata nel marzo 2025, la famiglia comprende due varianti: Jamba Mini 1.6 e Jamba Large 1.6. Entrambe adottano un'architettura ibrida che unisce i modelli a spazio di stato (SSM, comunemente noti come Mamba) con i tradizionali meccanismi di attenzione Transformer.

Dal punto di vista dimensionale, Jamba Mini 1.6 attiva 12 miliardi di parametri su 52 miliardi totali, mentre Jamba Large 1.6 attiva 94 miliardi di parametri su 398 miliardi totali. Il modello utilizza un'architettura a mistura di esperti (MoE), che attiva solo una frazione dei pesi totali per ogni token in ingresso. Entrambe le varianti condividono una finestra di contesto di 256.000 token, uno dei valori più ampi tra i modelli aperti disponibili al momento del rilascio.

A cosa serve

Jamba 1.6 è progettato per applicazioni enterprise che richiedono l'elaborazione di documenti lunghi e la comprensione di contesti estesi. I casi d'uso principali includono analisi di documenti legali e finanziari, riassunti di testi lunghi, ricerca aziendale, question answering con contesto ampio, retrieval-augmented generation (RAG) e revisione di codebase.

La famiglia supporta funzionalità avanzate come function calling, tool use e output strutturati in JSON, che permettono di integrare il modello in workflow automatizzati e agenti software. Supporta inoltre nove lingue: inglese, spagnolo, francese, portoghese, italiano, olandese, tedesco, arabo ed ebraico, con prestazioni particolarmente solide nelle lingue occidentali e nell'ebraico.

Come funziona

L'innovazione di Jamba 1.6 risiede nell'architettura ibrida SSM-Transformer. I modelli Transformer tradizionali eccellono nel pesare la rilevanza di diverse parti di un input, ma diventano computazionalmente costosi su sequenze molto lunghe a causa della complessità quadratica dell'attenzione. I modelli a spazio di stato come Mamba, invece, comprimono il contesto in uno stato latente di dimensione fissa, riducendo notevolmente il carico computazionale.

Combinando i due approcci, Jamba 1.6 sfrutta la precisione e le capacità di ragionamento dei Transformer per compiti complessi, mentre utilizza i componenti Mamba per gestire in modo efficiente sequenze estese. AI21 ha dichiarato che questa configurazione permette velocità di inferenza fino a 2,5 volte superiori rispetto a modelli densi di dimensioni comparabili, mantenendo al contempo qualità competitiva su benchmark come Arena Hard, CRAG e FinanceBench.

Perché conta per founder, PMI e agenzie italiane

Per imprese italiane, startup e agenzie, Jamba 1.6 offre un vantaggio concreto: la capacità di lavorare con testi lunghi in italiano senza frammentare il contesto. Questo si traduce in applicazioni come l'analisi automatica di contratti, la generazione di report da documentazione tecnica, l'assistenza clienti avanzata e la creazione di agenti interni per la ricerca aziendale.

La possibilità di scaricare i pesi da Hugging Face e di effettuare deployment on-premise o in VPC rappresenta un elemento rilevante per chi deve rispettare vincoli di privacy e conformità, incluso il GDPR. La variante Mini, in particolare, offre un compromesso accessibile tra capacità e risorse computazionali, rendendo il modello adatto anche a realtà di dimensioni contenute.

È però necessario prestare attenzione alla licenza. Jamba 1.6 è distribuito sotto la Jamba Open Model License, che consente sia l'uso ricercato sia quello commerciale fino a un limite di ricavi annuali di 50 milioni di dollari. Le aziende che superano questa soglia devono ottenere un accordo commerciale specifico con AI21 Labs. Non si tratta quindi di una licenza permissiva alla Apache 2.0 senza restrizioni.

Dove trovarlo

I pesi di Jamba 1.6 sono disponibili su Hugging Face nei repository ufficiali di AI21 Labs, sia per la variante Large sia per quella Mini. Gli sviluppatori possono eseguire il modello tramite framework come Transformers e vLLM, con supporto alla quantizzazione ExpertsInt8 per ridurre i requisiti hardware.

Per chi preferisce un accesso API gestito, il modello è disponibile su AI21 Studio, sulla piattaforma OpenRouter e su AWS Bedrock, inclusa la regione UE di Francoforte per chi necessita di hosting in Europa. Il knowledge cutoff dichiarato per la famiglia Jamba 1.6 è il 5 marzo 2024.

Hai letto fino a qui

🤔 Hai domande su questo argomento?

Posso aiutarti a capire come applicarlo al tuo business. Scegli come vuoi parlarmi.

— oppure —

💬 Chat: risposta immediata · 📧 Email: risposta personale entro 24h · 🔒 Niente spam

Continua a leggere