Ollama est un outil open source qui permet d’ex\u00e9cuter des grands mod\u00e8les de langage (LLM) directement sur sa propre machine ou son serveur, sans d\u00e9pendre d’API tierces comme OpenAI ou Anthropic. Il expose une API HTTP compatible avec le format OpenAI, ce qui facilite son int\u00e9gration dans une architecture existante \u2014 que ce soit un pipeline RAG, un serveur MCP, ou une interface de chat.<\/p>\n\n\n\n
Pour les infrastructures auto-h\u00e9berg\u00e9es, Ollama repr\u00e9sente une brique cl\u00e9 : confidentialit\u00e9 des donn\u00e9es, absence de co\u00fbt par requ\u00eate, fonctionnement hors ligne. Cet article pr\u00e9sente son installation, son fonctionnement, et les cas d’usage concrets dans une stack open source.<\/p>\n\n\n\n
Les raisons sont multiples selon le contexte. La souverainet\u00e9 des donn\u00e9es est souvent la premi\u00e8re motivation : dans les organisations publiques ou les projets sensibles, envoyer des donn\u00e9es \u00e0 un service cloud tiers pose des questions r\u00e9glementaires (RGPD, confidentialit\u00e9, h\u00e9bergement en dehors de l’UE). L’ex\u00e9cution locale \u00e9limine ce risque.<\/p>\n\n\n\n
La ma\u00eetrise des co\u00fbts est un autre argument. Les API commerciales facturent \u00e0 la requ\u00eate ou au token. Pour un usage intensif \u2014 traitement de corpus documentaires, annotation automatique, extraction d’entit\u00e9s \u2014 les co\u00fbts peuvent rapidement devenir significatifs. Un LLM local tourne \u00e0 co\u00fbt marginal nul une fois le mat\u00e9riel amorti.<\/p>\n\n\n\n
Enfin, l’int\u00e9gration dans une infrastructure auto-h\u00e9berg\u00e9e est plus naturelle. Ollama s’installe comme un service syst\u00e8me, expose une API REST, et s’int\u00e8gre directement avec des outils comme LangChain, Open WebUI, ou un serveur MCP custom.<\/p>\n\n\n\n
L’installation est volontairement simple. Le script officiel g\u00e8re les d\u00e9pendances et installe Ollama comme service systemd :<\/p>\n\n\n\n
curl -fsSL https:\/\/ollama.com\/install.sh | sh\n<\/pre>\n\n\n\nApr\u00e8s l’installation, le service tourne sur
http:\/\/localhost:11434<\/code>. On t\u00e9l\u00e9charge un mod\u00e8le avec une commande simple :<\/p>\n\n\n\nollama pull llama3.2\nollama pull mistral\nollama pull nomic-embed-text\n<\/pre>\n\n\n\n
nomic-embed-text<\/code> est un mod\u00e8le d’embeddings, utile pour les pipelines RAG.llama3.2<\/code> etmistral<\/code> sont des mod\u00e8les g\u00e9n\u00e9ralistes francophones performants sur du mat\u00e9riel grand public (8 \u00e0 16 Go de RAM suffisent pour les versions 7B quantis\u00e9es).<\/p>\n\n\n\nL’API REST compatible OpenAI<\/h2>\n\n\n\n
Ollama expose deux types d’endpoints. L’endpoint natif
\/api\/generate<\/code> est simple et direct :<\/p>\n\n\n\ncurl http:\/\/localhost:11434\/api\/generate \\\n -d '{\"model\":\"llama3.2\",\"prompt\":\"Qu'est-ce que CKAN ?\",\"stream\":false}'\n<\/pre>\n\n\n\nL’endpoint compatible OpenAI (
\/v1\/chat\/completions<\/code>) permet de substituer Ollama \u00e0 la place d’OpenAI dans n’importe quelle application qui utilise le SDK officiel Python ou TypeScript. Il suffit de changer la base URL :<\/p>\n\n\n\nfrom openai import OpenAI\n\nclient = OpenAI(base_url=\"http:\/\/localhost:11434\/v1\", api_key=\"ollama\")\nresponse = client.chat.completions.create(\n model=\"llama3.2\",\n messages=[{\"role\": \"user\", \"content\": \"R\u00e9sume ce document : ...\"}]\n)\n<\/pre>\n\n\n\nD\u00e9ploiement avec Docker<\/h2>\n\n\n\n
Pour une infrastructure conteneuris\u00e9e, Ollama fournit une image Docker officielle. Voici un
docker-compose.yml<\/code> minimal pour un d\u00e9ploiement CPU (sans GPU) :<\/p>\n\n\n\nservices:\n ollama:\n image: ollama\/ollama:latest\n ports:\n - \"11434:11434\"\n volumes:\n - ollama_data:\/root\/.ollama\n restart: unless-stopped\n\nvolumes:\n ollama_data:\n<\/pre>\n\n\n\nPour exposer Ollama derri\u00e8re un reverse proxy Nginx avec authentification, on ajoute une directive
proxy_pass<\/code> vers le port 11434 et un blocauth_basic<\/code> pour prot\u00e9ger l’acc\u00e8s. En production, il est fortement d\u00e9conseill\u00e9 d’exposer l’API Ollama directement sur internet sans protection.<\/p>\n\n\n\nInt\u00e9gration dans un pipeline RAG<\/h2>\n\n\n\n
L’un des cas d’usage les plus courants est la construction d’un pipeline RAG (Retrieval-Augmented Generation) enti\u00e8rement local. Le sch\u00e9ma est le suivant : les documents sont index\u00e9s sous forme de vecteurs d’embeddings (g\u00e9n\u00e9r\u00e9s par
nomic-embed-text<\/code> via Ollama), stock\u00e9s dans une base vectorielle comme Qdrant ou ChromaDB, puis interrog\u00e9s au moment de chaque requ\u00eate utilisateur avant d’envoyer le contexte enrichi au LLM.<\/p>\n\n\n\nAvec LangChain ou LlamaIndex, l’int\u00e9gration d’Ollama est directe \u2014 les deux biblioth\u00e8ques supportent nativement Ollama comme provider LLM et comme provider d’embeddings. On peut ainsi construire un assistant documentaire enti\u00e8rement souverain, capable d’indexer des jeux de donn\u00e9es CKAN, des PDF d’appels d’offres, ou des corpus r\u00e9glementaires.<\/p>\n\n\n\n
Int\u00e9gration avec un serveur MCP<\/h2>\n\n\n\n