Aller au contenu

Cercle IA .tech · Technique

Cercle IA TechHébergement

Guide

vLLM sur Kubernetes : déployer un modèle avec des GPU

Objets Kubernetes pour servir un LLM avec vLLM : volume, secret, GPU, sondes de santé, service. D'après la documentation de vLLM, lue le 16/11/2026.

Mis à jour le

Pour servir un modèle de langage avec vLLM sur Kubernetes, il faut cinq objets : un volume pour le cache du modèle, un secret pour le jeton Hugging Face, un Deployment qui lance vllm serve avec des GPU, des sondes de santé, et un Service qui expose le port. Tout ce qui suit vient de la documentation de vLLM sur Kubernetes, lue le 16/11/2026. Kubernetes est un orchestrateur de conteneurs : il relance les conteneurs qui tombent et répartit la charge. vLLM, lui, est une bibliothèque de service de modèles de langage qui expose, selon sa page d'accueil, une API compatible avec celle d'OpenAI.

Examinez les fonctions d’assistant proposées par ALMA si vous comparez Kubernetes à un service applicatif. Identifiez les exigences qui imposent votre propre cluster, puis chiffrez aussi le suivi des sources, des utilisateurs et des incidents.

Ce qu'il faut avant de commencer

Un cluster Kubernetes qui dispose de GPU. La documentation indique qu'un déploiement sur processeur existe, avec des images différentes selon l'architecture (x86_64 ou arm64), mais « uniquement pour la démonstration et les tests ».

Le volume : garder le modèle en cache

Un modèle pèse plusieurs gigaoctets : le télécharger à chaque démarrage ralentit tout. L'exemple de la documentation crée un PersistentVolumeClaim (une demande d'espace de stockage) avec :

  • accessModes à ReadWriteOnce ;
  • 50 Gio demandés ;
  • volumeMode à Filesystem.

Le volume est ensuite monté dans le conteneur sur /root/.cache/huggingface. Il est facultatif.

Le secret : le jeton Hugging Face

Pour les modèles à accès restreint (dits « gated »), l'exemple crée un Secret nommé hf-token-secret, de type Opaque, qui contient le jeton dans stringData.token. Le conteneur le reçoit comme variable d'environnement HF_TOKEN, par secretKeyRef. Ne placez jamais le jeton en clair dans un fichier versionné : créez le secret depuis votre gestionnaire de secrets.

Le Deployment : les GPU et la commande

Dans le Deployment, la documentation demande les cartes graphiques sous resources.limits et resources.requests avec la ressource nvidia.com/gpu (ou amd.com/gpu pour les cartes AMD), à côté du processeur et de la mémoire. L'image des exemples est vllm/vllm-openai:latest et la commande lance vllm serve suivi du nom du modèle.

Pour répartir un modèle sur plusieurs cartes (parallélisme tensoriel), ajoutez un volume emptyDir de type mémoire monté sur /dev/shm : l'exemple NVIDIA fixe sizeLimit à 2Gi, l'exemple AMD à 8Gi.

Les sondes : laisser le temps de charger

Sonde Réglage de l'exemple
Liveness (le conteneur répond-il ?) httpGet sur /health, port 8000, délai initial 60 s, période 10 s
Readiness (peut-il recevoir du trafic ?) httpGet sur /health, port 8000, délai initial 60 s, période 5 s
Startup (démarrage) failureThreshold: 120 dans les exemples gRPC, pour laisser le modèle se charger

Si le démarrage est trop long pour le seuil choisi, le conteneur est tué avant d'être prêt : c'est le piège que la section de dépannage décrit.

Le Service : exposer le port

Un Service de type ClusterIP relie le port 80 au port 8000 du conteneur, avec un selector qui correspond aux étiquettes du Deployment. ClusterIP ne rend le service joignable que depuis l'intérieur du cluster : c'est une bonne base pour un modèle interne.

Ce que la documentation ne règle pas à votre place

Dans les exemples relevés, nous n'avons pas vu de réglage pour l'authentification des appels ni pour le chiffrement des échanges. Pour la clé d'accès (--api-key) et la sécurisation d'un serveur vLLM, voyez l'installation d'un serveur vLLM. Pour le choix entre un cluster à vous et un service géré, comparez avec les options d'hébergement d'un LLM en France et l'architecture d'un serveur IA interne.

Cette page résume une documentation technique ; elle ne remplace pas l'avis de votre responsable de la sécurité.

Questions fréquentes

Peut-on déployer vLLM sur Kubernetes sans carte graphique ?

Oui, mais la documentation précise que le déploiement sur processeur ne sert qu'à la démonstration et aux tests. Pour un usage réel, il faut un cluster doté de cartes graphiques.

Pourquoi une sonde de démarrage avec un seuil d'échec élevé ?

Parce que le chargement du modèle prend du temps. La documentation signale que si le journal indique « KeyboardInterrupt: terminated » et que les événements montrent une sonde de démarrage en échec, il faut augmenter failureThreshold.

Le volume persistant est-il obligatoire ?

Non, il est facultatif : il sert à garder le modèle en cache entre deux redémarrages. La documentation indique qu'on peut utiliser un hostPath ou un autre stockage à la place.

Références du carnet

Pages consultées pour écrire cet article :

  1. Site d’ALMA : fonctionnalités
  2. https://docs.vllm.ai/en/latest/deployment/k8s.html
  3. https://docs.vllm.ai/en/latest/

À lire aussi