Technique

Ollama

Runtime open-source qui permet de télécharger et exécuter des LLM locaux (Llama, Mistral, Qwen…) en une commande.

Ollama est un runtime CLI open-source qui simplifie considérablement le déploiement de LLM locaux. Une seule commande (`ollama run qwen2:7b`) télécharge le modèle, le charge en mémoire et expose une API HTTP compatible OpenAI en local (`http://localhost:11434`).

Il supporte les principaux modèles open-source quantifiés (GGUF) pour fonctionner sur des machines modestes, et orchestre la sélection GPU/CPU automatiquement. Idéal pour intégrer rapidement un LLM dans une GED ou un workflow métier sans dépendance cloud.

Points clés à retenir

  • Installation simple : une commande curl sur Linux/Mac/Windows.
  • Bibliothèque : Llama 3, Mistral, Qwen, Gemma, Phi, DeepSeek, CodeLlama…
  • API HTTP compatible OpenAI (drop-in replacement).
  • GPU NVIDIA CUDA, Apple Metal, AMD ROCm, ou CPU fallback.
  • Idéal pour prototypage IA local et intégration GED on-premise.

Termes liés

FAQ

Les questions qu'on nous pose le plus souvent

Logiciels sur mesure, offshoring IT, conformité NF Z42-020 et interventions en Afrique de l'Ouest — les réponses directes aux interrogations récurrentes de nos clients européens et ouest-africains.

La GED (Gestion Électronique de Documents) gère la vie opérationnelle des documents : capture, OCR, classification, recherche full-text, workflow de validation et signature. Le coffre-fort numérique (CFN) prend le relais à la signature pour sceller le document en archivage légal immuable, conforme NF Z42-020 et eIDAS, avec chiffrement AES-256, horodatage qualifié et versioning WORM. Chez SoftValley Labs, la GED bascule automatiquement vers le CFN à la signature.