Aller au contenu

Cercle IA .tech · Technique

Cercle IA TechHébergement

Comparatif

TGI ou vLLM : quel moteur pour servir un LLM ?

TGI est en mode maintenance, Mistral AI recommande vLLM : ce que disent les documentations officielles pour choisir un moteur d'inférence.

Mis à jour le

Pour servir un modèle de langage sur vos propres machines, la documentation de Text Generation Inference (TGI) dit elle-même qu'il est désormais en mode maintenance et recommande d'aller vers vLLM ou SGLang. Pour un nouveau projet, vLLM est donc le point de départ le plus cité par les sources officielles lues le 16/11/2026. Voici ce que chaque page affirme, sans comparaison chiffrée : aucune de ces pages ne publie de mesure comparative, et nous n'en avons pas fait.

La présentation des fonctions d’ALMA aide à situer le moteur dans le service rendu aux utilisateurs. Choisissez ce que vous souhaitez exploiter vous-même avant d’ajouter autour de l’inférence les sources, les permissions et les conversations.

Ce qu'est un moteur d'inférence

Un modèle de langage est un fichier de poids. Pour répondre à des requêtes, il faut un logiciel qui le charge dans la mémoire des cartes graphiques, regroupe les demandes de plusieurs utilisateurs et renvoie le texte au fil de l'eau : c'est le moteur d'inférence (ou « serveur d'inférence »). Le choix du moteur pèse sur l'exploitation de votre serveur, pas sur la qualité des réponses du modèle.

Text Generation Inference (Hugging Face)

La page de documentation de TGI s'ouvre sur un avertissement : le projet est en mode maintenance, et l'équipe n'accepte plus que des corrections mineures, des améliorations de documentation et de la maintenance légère. Elle recommande désormais vLLM, SGLang, ainsi que des moteurs locaux comme llama.cpp ou MLX.

Ses fonctions listées : lanceur simple, traçage distribué (OpenTelemetry) et métriques Prometheus, parallélisme tensoriel sur plusieurs cartes, streaming des réponses, regroupement continu des requêtes, quantification (bitsandbytes, GPT-Q), chargement des poids au format Safetensors, appel de fonctions guidé par schéma.

vLLM

La page d'accueil de vLLM le présente comme une bibliothèque de service de modèles de langage « simple, rapide et peu coûteuse ». Fonctions citées : regroupement continu des requêtes, cache de préfixes, quantification (FP8, INT8, INT4, GPTQ, AWQ, GGUF), décodage spéculatif, plusieurs formes de parallélisme, appel d'outils, sorties structurées, et un serveur compatible avec l'API d'OpenAI, avec en plus l'API Messages d'Anthropic. Côté matériel : cartes NVIDIA et AMD, processeurs x86, ARM et PowerPC, et des extensions pour d'autres accélérateurs (TPU de Google, Gaudi d'Intel, Ascend de Huawei, Apple Silicon, entre autres). La page annonce plus de 200 architectures de modèles prises en charge.

Ce que recommande Mistral AI

La page d'auto-déploiement de Mistral AI recommande vLLM, qu'elle décrit comme un cadre de service « très optimisé », capable d'exposer une API compatible avec celle d'OpenAI. Elle cite TensorRT-LLM et TGI comme alternatives, et SkyPilot et Cerebrium comme outils pour gérer l'infrastructure. Pour un déploiement complet en entreprise, avec gestion d'équipe, elle renvoie vers Mistral AI.

Tableau de lecture

Critère TGI vLLM
État annoncé par la documentation Mode maintenance Projet maintenu par une communauté (plus de 2 000 contributeurs, selon sa page)
Recommandé par Mistral AI Cité comme alternative Recommandé
API compatible OpenAI Non précisé sur la page lue Oui
Supervision Métriques Prometheus, traçage OpenTelemetry Points /health et /metrics (voir l'installation de vLLM)

Comment choisir

  1. Partez de ce que vous exploitez déjà : si un serveur TGI tourne chez vous, la documentation lue ne dit pas qu'il cesse de fonctionner, mais elle n'annonce plus de nouvelles fonctions : inscrivez une migration possible dans votre feuille de route.
  2. Pour un nouveau déploiement, essayez vLLM d'abord, sur votre matériel et avec vos propres questions, puis comparez avec un second moteur si vos résultats l'exigent.
  3. Vérifiez que votre modèle figure dans les architectures prises en charge par le moteur, sur la version que vous installez.

Pour l'étape suivante, voyez le déploiement en conteneur avec une carte NVIDIA, vLLM sur Kubernetes et le serveur IA interne.

Questions fréquentes

Text Generation Inference est-il abandonné ?

Pas abandonné, mais en « mode maintenance » : sa documentation indique que l'équipe n'accepte plus que des corrections mineures, de la documentation et de la maintenance légère, et recommande vLLM, SGLang ou des moteurs locaux comme llama.cpp et MLX.

Quel moteur Mistral AI recommande-t-il pour ses modèles ?

Sa page d'auto-déploiement recommande vLLM, et cite TensorRT-LLM et TGI comme alternatives.

Un moteur d'inférence est-il le modèle lui-même ?

Non. Le modèle est le fichier de poids ; le moteur est le logiciel qui le charge dans la mémoire des cartes graphiques et répond aux requêtes.

Références du carnet

Pages consultées pour écrire cet article :

  1. Site d’ALMA : fonctionnalités
  2. https://huggingface.co/docs/text-generation-inference/index
  3. https://docs.vllm.ai/en/latest/
  4. https://docs.mistral.ai/deployment/self-deployment/

À lire aussi