{"id":2162,"date":"2026-04-02T11:15:40","date_gmt":"2026-04-02T09:15:40","guid":{"rendered":"https:\/\/askem.eu\/?p=2162"},"modified":"2026-04-02T11:15:45","modified_gmt":"2026-04-02T09:15:45","slug":"langfuse-observer-et-evaluer-ses-pipelines-llm-open-source-en-production","status":"publish","type":"post","link":"https:\/\/askem.eu\/en\/2026\/04\/02\/langfuse-observer-et-evaluer-ses-pipelines-llm-open-source-en-production\/","title":{"rendered":"Langfuse : observer et \u00e9valuer ses pipelines LLM open source en production"},"content":{"rendered":"

Langfuse : observer et \u00e9valuer ses pipelines LLM open source en production<\/h1>\n\n\n\n

Un pipeline RAG en place fonctionne, visiblement. Les r\u00e9ponses s’affichent, les logs ne signalent rien. Mais le LLM hallucine-t-il ? Le retrieval ram\u00e8ne-t-il des chunks vraiment pertinents ? Le mod\u00e8le est-il plus lent depuis la mise \u00e0 jour des embeddings ? Sans instrumenter son pipeline, ces questions restent sans r\u00e9ponse. Langfuse est un outil d’observabilit\u00e9 et d’\u00e9valuation open source con\u00e7u pour les applications LLM : il trace chaque appel, enregistre latences et co\u00fbts, permet d’annoter manuellement les sorties et d’automatiser des \u00e9valuations de qualit\u00e9. D\u00e9ployable en auto-h\u00e9berg\u00e9, il s’int\u00e8gre nativement avec Ollama, LangChain, OpenAI et tout SDK compatible OpenTelemetry.<\/p>\n\n\n\n

Pourquoi l’observabilit\u00e9 LLM est diff\u00e9rente de l’observabilit\u00e9 classique<\/h2>\n\n\n\n

Prometheus surveille une m\u00e9trique num\u00e9rique : temps de r\u00e9ponse, utilisation m\u00e9moire, nombre d’erreurs HTTP. Ces m\u00e9triques sont objectives : on sait si un seuil est franchi. Les LLM introduisent un nouveau type de signal : la qualit\u00e9 s\u00e9mantique d’une sortie. Une r\u00e9ponse peut \u00eatre grammaticalement correcte, retourn\u00e9e en 800 ms, sans erreur technique et pourtant fausse, ou hors sujet. Cette dimension ne se mesure pas avec un simple compteur.<\/p>\n\n\n\n

Les pipelines LLM sont \u00e9galement structurellement diff\u00e9rents. Une requ\u00eate n’est pas un appel unique, c’est une cascade : reformulation de la requ\u00eate, appel au retriever, construction du contexte, appel au LLM, post-traitement. Chaque \u00e9tape peut d\u00e9grader la qualit\u00e9 finale. Langfuse mod\u00e9lise cette hi\u00e9rarchie avec un syst\u00e8me de traces<\/em> et spans<\/em> : une trace repr\u00e9sente l’interaction compl\u00e8te, les spans repr\u00e9sentent chaque \u00e9tape interne, avec leur dur\u00e9e, leur entr\u00e9e, leur sortie et leurs m\u00e9triques associ\u00e9es.<\/p>\n\n\n\n

Sans cet outil, le d\u00e9bogage d’un pipeline RAG d\u00e9grad\u00e9 revient \u00e0 inspecter des logs textuels ligne par ligne. Avec Langfuse, on dispose d’une interface structur\u00e9e, filtrable, qui permet de retrouver en quelques secondes quelle trace a produit une mauvaise r\u00e9ponse, quelle \u00e9tape \u00e9tait la plus lente, et quel chunk a \u00e9t\u00e9 inject\u00e9 en contexte.<\/p>\n\n\n\n

Architecture et d\u00e9ploiement auto-h\u00e9berg\u00e9<\/h2>\n\n\n\n

Langfuse est compos\u00e9 d’un serveur Node.js, d’une base PostgreSQL pour le stockage des traces, et d’une interface web. La stack compl\u00e8te se d\u00e9ploie avec Docker Compose en moins de cinq minutes :<\/p>\n\n\n\n

services:\n  langfuse-server:\n    image: langfuse\/langfuse:latest\n    environment:\n      DATABASE_URL: postgresql:\/\/langfuse:secret@db:5432\/langfuse\n      NEXTAUTH_SECRET: my-secret-key\n      NEXTAUTH_URL: https:\/\/langfuse.mondomaine.fr\n      SALT: my-salt\n    ports:\n      - \"3000:3000\"\n    depends_on:\n      - db\n\n  db:\n    image: postgres:16-alpine\n    environment:\n      POSTGRES_DB: langfuse\n      POSTGRES_USER: langfuse\n      POSTGRES_PASSWORD: secret\n    volumes:\n      - postgres_data:\/var\/lib\/postgresql\/data\n\nvolumes:\n  postgres_data:<\/code><\/pre>\n\n\n\n
En production, on place un reverse proxy (Nginx ou Traefik) devant le port 3000 pour la terminaison TLS. Le volume PostgreSQL doit \u00eatre sauvegard\u00e9 r\u00e9guli\u00e8rement, avec BorgBackup par exemple, car il contient l’int\u00e9gralit\u00e9 des traces.<\/p>\n\n\n\n
Instrumenter son code Python en cinq lignes<\/h2>\n\n\n\n
Langfuse expose un SDK Python l\u00e9ger. L’instrumentation d’un pipeline RAG minimal ressemble \u00e0 ceci :<\/p>\n\n\n\n
from langfuse import Langfuse\n\nlf = Langfuse(\n    public_key=\"pk-...\",\n    secret_key=\"sk-...\",\n    host=\"https:\/\/langfuse.mondomaine.fr\"\n)\n\n# Cr\u00e9er une trace pour une interaction utilisateur\ntrace = lf.trace(name=\"rag-query\", user_id=\"user-42\")\n\n# Span de retrieval\nspan = trace.span(name=\"retrieve-chunks\", input={\"query\": user_query})\nchunks = retriever.query(user_query)\nspan.end(output={\"chunks\": chunks, \"count\": len(chunks)})\n\n# G\u00e9n\u00e9ration LLM\ngeneration = trace.generation(\n    name=\"llm-response\",\n    model=\"mistral:7b\",\n    input={\"prompt\": build_prompt(user_query, chunks)},\n)\nresponse = llm.generate(build_prompt(user_query, chunks))\ngeneration.end(output={\"text\": response}, usage={\"total_tokens\": 1024})\n\ntrace.update(output={\"final_answer\": response})<\/code><\/pre>\n\n\n\n
Si vous utilisez LangChain, un handler d\u00e9di\u00e9 automatise enti\u00e8rement cette instrumentation sans modifier la logique m\u00e9tier :<\/p>\n\n\n\n
from langfuse.callback import CallbackHandler\n\nhandler = CallbackHandler(public_key=\"pk-...\", secret_key=\"sk-...\",\n                          host=\"https:\/\/langfuse.mondomaine.fr\")\n\nchain.invoke({\"question\": user_query}, config={\"callbacks\": [handler]})<\/code><\/pre>\n\n\n\n
Ce que l’interface permet d’analyser<\/h2>\n\n\n\n
Une fois les traces collect\u00e9es, l’interface Langfuse offre plusieurs vues compl\u00e9mentaires. La vue Traces<\/strong> liste toutes les interactions avec filtres sur l’utilisateur, la session, la date, un score de qualit\u00e9 ou un tag. On peut y retrouver les traces les plus lentes, les plus longues en tokens, ou celles annot\u00e9es manuellement comme incorrectes.<\/p>\n\n\n\n
La vue Generations<\/strong> agr\u00e8ge tous les appels LLM individuels : mod\u00e8le utilis\u00e9, nombre de tokens en entr\u00e9e et sortie, co\u00fbt estim\u00e9 (si un tarif est configur\u00e9), latence. On peut y rep\u00e9rer une d\u00e9rive : si le p95 de latence passe de 1,2 s \u00e0 3,8 s apr\u00e8s un changement de mod\u00e8le, cela appara\u00eet imm\u00e9diatement dans les graphiques de tendance.<\/p>\n\n\n\n
Les Datasets<\/strong> permettent de constituer un jeu de tests de r\u00e9gression. On extrait des traces pass\u00e9es, r\u00e9elles, produites par des utilisateurs, pour construire un benchmark : question pos\u00e9e, contexte \u00ab\u00a0retriev\u00e9\u00a0\u00bb, r\u00e9ponse attendue. On peut ensuite rejouer ce dataset apr\u00e8s chaque changement de configuration (nouveau mod\u00e8le, nouveau prompt, nouveau chunking) pour mesurer si la qualit\u00e9 progresse ou r\u00e9gresse.<\/p>\n\n\n\n
\u00c9valuation automatique et scoring LLM-as-a-judge<\/h2>\n\n\n\n
Langfuse int\u00e8gre le pattern LLM-as-a-judge<\/em> : un second LLM \u00e9value automatiquement les sorties du premier selon des crit\u00e8res d\u00e9finis : pertinence de la r\u00e9ponse par rapport \u00e0 la question, absence d’hallucination, fid\u00e9lit\u00e9 au contexte. Ces scores sont associ\u00e9s \u00e0 chaque trace et filtrable dans l’interface.<\/p>\n\n\n\n
On peut aussi configurer des scores humains : l’interface expose un mode annotation qui permet \u00e0 une personne non-technique de noter des sorties directement dans le navigateur : pouce lev\u00e9, pouce baiss\u00e9, score de 1 \u00e0 5, sans acc\u00e9der au code. Ces annotations alimentent la base de donn\u00e9es d’\u00e9valuation et peuvent guider le choix des exemples de fine-tuning.<\/p>\n\n\n\n
Int\u00e9gration dans une stack open source existante<\/h2>\n\n\n\n
Dans une stack ouverte, par exemple Ollama pour les mod\u00e8les, Qdrant pour les vecteurs, n8n pour l’orchestration des workflows, CKAN pour les donn\u00e9es sources, Langfuse s’ins\u00e8re comme couche transversale d’observabilit\u00e9. Chaque workflow n8n qui appelle un LLM peut envoyer ses traces \u00e0 Langfuse via le SDK Python ou une requ\u00eate HTTP directe vers l’API REST.<\/p>\n\n\n\n
Pour les mod\u00e8les Ollama, Langfuse compatible OpenAI API peut \u00eatre utilis\u00e9 comme proxy transparent en configurant le endpoint OpenAI pour pointer vers Langfuse, qui redirige vers Ollama et intercepte les m\u00e9triques au passage. Aucune modification du code applicatif n’est n\u00e9cessaire dans ce cas.<\/p>\n\n\n\n
Le r\u00e9sultat est une plateforme d’observation compl\u00e8te : on sait quels utilisateurs posent quelles questions, quels chunks sont fr\u00e9quemment retriev\u00e9s, quels prompts produisent les meilleures r\u00e9ponses, et o\u00f9 se situent les goulots d’\u00e9tranglement de latence, le tout sans envoyer une seule donn\u00e9e \u00e0 un service externe.<\/p>\n\n\n\n
Pour aller plus loin<\/h2>\n\n\n\n