Cos'è CogVideoX
CogVideoX è una famiglia di modelli generativi di video open source sviluppata da THUDM (Tsinghua University) e Zhipu AI. Rappresenta la controparte aperta del motore video commerciale QingYing. A differenza di molte piattaforme video chiuse, CogVideoX rende disponibili pesi, codice, documentazione tecnica e checkpoint intermedi, permettendo a ricercatori, sviluppatori e aziende di sperimentare la generazione di clip direttamente sul proprio hardware o su infrastrutture cloud scelte autonomamente.
La famiglia include diversi modelli ottimizzati per esigenze diverse: CogVideoX-2B (versione entry-level), CogVideoX-5B (più potente), CogVideoX-5B-I2V (image-to-video) e CogVideoX1.5-5B (evoluzione con risoluzione e frame rate superiori). I checkpoint sono distribuiti principalmente in formato Diffusers, compatibile con l'ecosistema Hugging Face, e in formato SAT per chi vuole lavorare direttamente sull'architettura originale.
A cosa serve
CogVideoX serve a generare brevi clip video a partire da un prompt testuale o da un'immagine. Supporta tre compiti principali: text-to-video (T2V), image-to-video (I2V) e video continuation, ovvero l'estensione di un filmato già esistente. È pensato per prototipazione creativa, contenuti social, storyboard dinamici, materiali promozionali, visualizzazioni di prodotto e ricerca accademica.
La documentazione ufficiale mostra scene complesse generate dal modello: un panda che suona la chitarra in una foresta di bambù, un astronauta che stringe la mano a un extraterrestre su Marte, un cane con occhiali da sole che corre su un terrazzo bagnato. L'obiettivo non è solo produrre pixel in movimento, ma mantenere coerenza temporale, rispetto del prompt e plausibilità fisica nel breve arco di pochi secondi.
Come funziona
CogVideoX è un modello di diffusione latente basato su transformer (DiT, Diffusion Transformer). Il processo è analogo a quello delle immagini stable-diffusion-like, ma esteso al dominio spazio-temporale. Il modello parte da rumore casuale e lo denoisa progressivamente, condizionandosi sul prompt testuale codificato da un text encoder basato su T5.
L'architettura si articola in tre componenti fondamentali:
- 3D Causal VAE: un autoencoder variazionale che comprime il video lungo gli assi spaziali e temporali. Grazie alle convoluzioni 3D e alla causalità temporale, ogni frame dipende solo dal frame corrente e da quelli precedenti, riducendo artefatti e preservando la fluidità del movimento.
- Expert Transformer: un modulo specializzato per fondere in profondità le feature video e testuali. Utilizza adaptive layer normalization per gestire le due modalità e processa il video suddiviso in patch, trattandolo come una sequenza di token.
- 3D Rotary Position Embeddings (3D-RoPE): codifica le coordinate spaziali e temporali in modo indipendente, accelerando la convergenza durante l'addestramento e migliorando la qualità su sequenze più lunghe.
L'addestramento ha coinvolto circa 35 milioni di clip video di alta qualità, con una durata media di sei secondi ciascuno, e circa due miliardi di immagini filtrate da dataset come LAION-5B e COYO-700M. Poiché molti video avevano didascalie corte o di bassa qualità, il team ha costruito una pipeline di dense captioning con CogVLM e large language model, generando descrizioni dettagliate che allineano meglio il testo al contenuto visivo.
Modelli della famiglia
| Modello | Compito | Risoluzione tipica | Durata | Note |
|---|---|---|---|---|
| CogVideoX-2B | T2V | 720 × 480 | 6 s | Leggero, adatto a GPU consumer e sperimentazione |
| CogVideoX-5B | T2V | 720 × 480 | 6 s | Maggiore qualità, addestrato in BF16 |
| CogVideoX-5B-I2V | I2V | variabile | 6 s | Genera video a partire da un'immagine di sfondo |
| CogVideoX1.5-5B | T2V | 1360 × 768 | 10 s | 16 fps, risoluzione e fluidità superiori |
Il modello 2B è stato addestrato in FP16, mentre i modelli 5B in BF16. Per l'inferenza si consiglia di usare la precisione di addestramento. Grazie alla libreria Diffusers e alle tecniche di quantizzazione (PyTorchAO, Optimum-quanto), CogVideoX-5B può girare con circa 5 GB di VRAM in BF16 e addirittura 3,6–4,4 GB in INT8, rendendo l'inferenza accessibile anche su GPU di fascia media o su Colab T4.
Licenza e accesso
Il codice di CogVideoX è rilasciato sotto licenza Apache 2.0. I pesi dei modelli sono invece distribuiti sotto una licenza dedicata, la CogVideoX LICENSE, consultabile nelle schede dei repository ufficiali. L'uso accademico e di ricerca è libero; per l'uso commerciale è necessario registrarsi sulla piattaforma aperta di Zhipu AI (open.bigmodel.cn) e richiedere una licenza commerciale di base. Questa impostazione è comune a molti modelli cinesi open weight: codice aperto, pesi con restrizioni commerciali.
Perché conta per founder, PMI e agenzie in Italia
Per founder, PMI e agenzie creative italiane CogVideoX è rilevante per almeno tre motivi:
- Sovranità tecnologica e compliance: si può eseguire on-premise o su cloud europeo, riducendo la dipendenza da API chiuse e semplificando la gestione di dati sensibili e requisiti GDPR.
- Costi prevedibili: dopo l'investimento iniziale in hardware o istanze GPU, il costo marginale per generare un video è molto inferiore rispetto ai servizi a consumo per clip.
- Personalizzazione: grazie ai framework di fine-tuning come CogVideoX-Factory e CogKit si possono addestrare varianti su set di dati proprietari: prodotti e-commerce, interni immobiliari, look fashion, stili grafici di brand.
Il limite principale è la lingua dei prompt: i modelli sono ottimizzati per l'inglese. In un flusso di lavoro italiano conviene tradurre e arricchire le descrizioni con un LLM prima di passarle a CogVideoX. Inoltre, la qualità cresce con prompt lunghi e descrittivi: descrivere composizione, movimento, illuminazione e stile migliora notevolmente il risultato.
Dove trovarlo
Le risorse principali per iniziare sono:
- GitHub:
zai-org/CogVideocontiene codice, demo CLI, script di fine-tuning, SAT e la documentazione tecnica. - Hugging Face: i repository
THUDM/CogVideoX-5b,zai-org/CogVideoX-5be le varianti I2V offrono i pesi in formato Diffusers. - ModelScope e WiseModel: mirror alternativi per il download dei checkpoint, utili per chi opera dalla Cina o con banda limitata verso Hugging Face.
- Hugging Face Space / ModelScope Space: demo online per provare il modello senza installazione.
- Piattaforma QingYing e open.bigmodel.cn: per l'accesso alle API commerciali e per la richiesta di licenza d'uso commerciale.