Cos'è
Langfuse è una piattaforma open-source di AI engineering progettata per tracciare, valutare e migliorare applicazioni basate su modelli di linguaggio di grandi dimensioni (LLM) e agenti artificiali. Nata nel 2023 da Marc Klingen, Max Deichmann e Clemens Rawert, è entrata a far parte del batch invernale 2023 di Y Combinator (W23) e ha raccolto un round seed di 4 milioni di dollari nel novembre 2023, guidato da Lightspeed Venture Partners, General Catalyst (La Famiglia) e Y Combinator. Nel gennaio 2026 Langfuse è stata acquisita da ClickHouse, l'azienda dietro il popolare database analitico open-source omonimo, mantenendo sedi operative a Berlino (product e engineering) e San Francisco (go-to-market).
Rilasciata sotto licenza MIT, Langfuse si propone come uno strumento agnostico rispetto al modello e al framework, con un'architettura API-first e nativa OpenTelemetry. Offre sia una versione cloud gestita (Langfuse Cloud), con un piano gratuito generoso, sia la possibilità di essere installata on-premise su infrastruttura propria.
Il problema che risolve
Le applicazioni LLM differiscono radicalmente dal software tradizionale: sono intrinsecamente probabilistiche, spesso composte da più passaggi (retrieval, ragionamento, chiamate a tool, generazione) e soggette a regressioni di qualità difficili da anticipare. Portare un prototipo LLM in produzione richiede visibilità su costi, latenza, comportamento del modello e feedback utente. Senza strumenti dedicati, i team si trovano a debuggare sistemi "scatola nera" attraverso log frammentari, perdendo tempo nel ricostruire il percorso che ha portato a una risposta.
Langfuse affronta questo problema fornendo una piattaforma integrata di observability e LLMOps: ogni chiamata al modello, ogni ricerca semantica, ogni azione di un agente viene registrata in tracce gerarchiche consultabili dall'interfaccia web. Questo permette di capire cosa è successo, perché è successo e a quale costo, riducendo il tempo di debug e migliorando l'affidabilità delle applicazioni in produzione.
Come funziona
Langfuse si integra nelle applicazioni attraverso SDK nativi per Python, JavaScript/TypeScript e Java, oltre a oltre cinquanta integrazioni con framework e librerie come OpenAI SDK, LangChain, LlamaIndex, Anthropic SDK, Vercel AI SDK, LiteLLM, DSPy, CrewAI e molti altri. Dal 2025 la terza generazione degli SDK è stata ricostruita attorno a OpenTelemetry, lo standard CNCF per il tracing distribuito, garantendo maggiore interoperabilità e riducendo il vendor lock-in.
Il modello dati si basa su tre concetti principali:
- Trace: rappresenta l'intera esecuzione di una richiesta utente, ad esempio una conversazione o un'interazione con un agente.
- Observation: un'unità di lavoro all'interno di una traccia, che può essere uno span (un passaggio generico come una retrieval), una generation (una chiamata LLM con input, output, parametri, token e costo) o un event (un punto temporale).
- Session: aggrega più tracce in flussi multi-turno, utile per seguire conversazioni o workflow agentici.
I dati vengono inviati a Langfuse tramite API o SDK, messi in coda su Redis, elaborati da worker asincroni e stoccati in PostgreSQL per i metadati operazionali e in ClickHouse per le analisi su grandi volumi. Gli allegati multimediali o i payload di grandi dimensioni possono essere archiviati in storage S3-compatibile.
Caratteristiche principali
Observability e tracing: registrazione end-to-end di chiamate LLM e non-LLM, con visualizzazione gerarchica, timeline della latenza, costi per singolo step e tracciamento per userId. Gli agenti multi-step possono essere rappresentati come grafi per facilitare la comprensione del flusso.
Prompt Management: gestione centralizzata dei prompt con controllo di versione, collaborazione tramite UI/API/SDK, deployment per ambiente tramite etichette senza modificare il codice, e caching lato server e client per minimizzare l'overhead.
Evaluations: supporto a diverse strategie di valutazione, tra cui LLM-as-a-judge, evaluator scritti in codice, feedback utente, annotazione manuale e pipeline personalizzate. È possibile eseguire valutazioni sia in produzione (online) sia su dataset predefiniti in fase di sviluppo (offline).
Datasets ed experiments: creazione di dataset di test strutturati per misurare le prestazioni in modo ripetibile e confrontare versioni di prompt o modelli attraverso esperimenti tracciabili.
LLM Playground: ambiente interattivo per testare prompt e configurazioni di modello direttamente dalla UI, con la possibilità di saltare al playground da una traccia con risultati insoddisfacenti.
API e integrazioni: tutte le funzionalità sono esposte via API pubblica, con SDK tipizzati, specifica OpenAPI e collezione Postman. L'architettura supporta esportazioni programmate verso blob storage e integrazioni con strumenti esterni come Mixpanel.
Casi d'uso concreti
Debug di RAG in produzione: un'applicazione di retrieval-augmented generation che restituisce risposte errate può essere ispezionata traccia per traccia per verificare quali documenti sono stati recuperati, come sono stati riassunti e come il modello ha generato la risposta finale.
Ottimizzazione costi e latenza: monitorando token, costo e tempo di risposta per ogni generazione, i team possono identificare passaggi inefficienti, passare a modelli più leggeri dove possibile o ottimizzare la lunghezza dei prompt.
Valutazione continua della qualità: impostando evaluator LLM-as-a-judge su traffico reale, le aziende possono rilevare regressioni di qualità, allucinazioni o risposte fuori tema prima che impattino significativamente gli utenti.
Sviluppo collaborativo di prompt: team di product, domain expert e ingegneri possono iterare sui prompt in un'unica piattaforma versionata, riducendo la frammentazione tra codice e documentazione.
Compliance e data sovereignty: grazie al self-hosting, Langfuse è adatto a contesti in cui i dati non possono lasciare l'infrastruttura aziendale, ad esempio per requisiti GDPR, HIPAA o politiche di proprietà intellettuale.
Punti di forza e limiti
Tra i punti di forza: l'apertura totale del codice sotto licenza MIT, l'assenza di restrizioni di funzionalità nella versione self-hosted, l'architettura agnostica basata su OpenTelemetry, la ricchezza delle integrazioni, e la flessibilità del modello di prezzo con utenti illimitati nei piani a pagamento. La piattaforma è pensata per scalare: il backend sfrutta ClickHouse per analisi su grandi volumi e Redis per la gestione delle code.
I limiti principali riguardano la curva di apprendimento legata all'adozione di tutte le funzionalità (tracing, prompt management, evals, datasets), il fatto che alcune capacità avanzate di valutazione richiedano ancora integrazioni custom rispetto a soluzioni con evaluator built-in più strutturati, e l'assenza di alerting nativo, che va implementato tramite Metrics API e strumenti esterni. Inoltre, il self-hosting, pur essendo "gratuito" per licenza, comporta costi infrastrutturali e operativi non trascurabili per garantire alta disponibilità e backup.
Alternative e contesto
Langfuse opera nel settore dell'LLM observability e LLMOps, un mercato in rapida crescita. Le alternative principali includono:
- LangSmith: piattaforma proprietaria di LangChain, profondamente integrata con LangChain e LangGraph, cloud-first con self-hosting solo in piano enterprise.
- Helicone: strumento orientato alla developer experience, spesso basato su proxy/gateway, con funzionalità di cache e fallback.
- Braintrust: focalizzato su eval orchestration e dataset versioning, con forte attenzione all'integrazione CI/CD.
- Arize Phoenix: piattaforma di ML observability estesa ai LLM, popolare tra i data scientist.
- TruLens: libreria Python open-source per valutazione e feedback, spesso usata con LlamaIndex.
- OpenLLMetry: standard OpenTelemetry per LLM, compatibile con vari framework ma meno completo sul lato prompt management e valutazione.
La scelta dipende dalle esigenze: Langfuse si distingue per chi cerca un'alternativa open-source, framework-agnostic e self-hostable, mentre chi utilizza esclusivamente LangChain potrebbe preferire LangSmith per la sua integrazione nativa.
In sintesi
Langfuse è una piattaforma completa e matura per l'ingegneria delle applicazioni LLM, che unisce osservabilità, gestione dei prompt, valutazione e sperimentazione in un unico prodotto open-source. L'acquisizione da parte di ClickHouse nel 2026 rafforza ulteriormente le sue fondamenta tecniche, soprattutto sul fronte delle prestazioni analitiche. È una scelta solida per team che devono portare in produzione sistemi LLM complessi mantenendo controllo sui dati, sui costi e sulla qualità.
Risorse
- Sito ufficiale: https://langfuse.com
- Repository GitHub: https://github.com/langfuse/langfuse
- Documentazione: https://langfuse.com/docs
- Blog: https://langfuse.com/blog
- Roadmap: https://langfuse.com/docs/roadmap
- Changelog: https://langfuse.com/changelog
- Comunicato acquisizione ClickHouse: https://langfuse.com/blog/joining-clickhouse
- Company handbook: https://langfuse.com/handbook