SoftValley Labs — éditeur de logiciels & offshoring IT
Technique

LLM local

Aussi appelé : Large Language Model on-premise · LLM offline

Grand modèle de langage déployé sur l'infrastructure du client (sans appel cloud externe) pour garantir confidentialité et souveraineté des données.

Un LLM local (Large Language Model on-premise) est un modèle d'IA générative déployé dans l'infrastructure du client — serveur interne, edge device, ou cloud privé — sans jamais appeler d'API externe. Il offre deux avantages majeurs : confidentialité totale (aucune donnée ne quitte le périmètre) et prédictibilité des coûts (pas de tarif au token).

Les modèles open-source populaires incluent Llama 3 (Meta), Mistral (Mistral AI), Qwen (Alibaba), Phi (Microsoft), Gemma (Google). Ils sont exécutés via des runtimes optimisés comme Ollama, vLLM, llama.cpp. Pour des usages GED (classification de documents, extraction d'entités), un modèle 7B à 13B paramètres tourne sur un serveur équipé d'une GPU A100 ou même sur un CPU récent.

Points clés à retenir

  • Zéro fuite : les données ne sortent jamais du réseau.
  • Coût prédictible : infrastructure fixe, pas de facturation au token.
  • Modèles open : Llama 3, Mistral, Qwen, Phi, Gemma.
  • Runtimes : Ollama (CLI simple), vLLM (production), llama.cpp (edge).
  • Idéal pour environnements régulés : banque, santé, défense, administration.
Contexte Afrique de l'Ouest

Indispensable pour les administrations publiques africaines et les banques UEMOA soumises à la souveraineté des données.

Solutions SoftValley Labs concernées

Gestion Électronique de Documents

GED

Plateforme GED on-premise 100 % offline qui capture, classe et fait circuler vos documents au quotidien : numérisation, OCR, classification …

Termes liés

OllamaOCR
Retour au glossaire complet
FAQ

Les questions qu'on nous pose le plus souvent

Logiciels sur mesure, offshoring IT, conformité NF Z42-020 et interventions en Afrique de l'Ouest — les réponses directes aux interrogations récurrentes de nos clients européens et ouest-africains.

La GED (Gestion Électronique de Documents) gère la vie opérationnelle des documents : capture, OCR, classification, recherche full-text, workflow de validation et signature. Le coffre-fort numérique (CFN) prend le relais à la signature pour sceller le document en archivage légal immuable, conforme NF Z42-020 et eIDAS, avec chiffrement AES-256, horodatage qualifié et versioning WORM. Chez SoftValley Labs, la GED bascule automatiquement vers le CFN à la signature.