Aller au contenu

Cercle IA .tech · Technique

Cercle IA TechHébergement

Guide

Faire tourner un LLM dans Docker avec une carte NVIDIA

Installer le NVIDIA Container Toolkit, régler Docker, lancer vLLM en conteneur : les commandes, d'après les documentations de NVIDIA et de vLLM.

Mis à jour le

Pour faire tourner un grand modèle de langage dans un conteneur Docker avec une carte graphique NVIDIA, il faut d'abord préparer la machine hôte (pilote, puis NVIDIA Container Toolkit, puis réglage de Docker), et seulement ensuite lancer l'image du moteur. Voici l'ordre, d'après le guide d'installation du NVIDIA Container Toolkit et la page Docker de vLLM, lus le 16/11/2026. Un conteneur est un environnement isolé qui embarque le programme et ses dépendances ; vLLM est un moteur de service de modèles de langage.

Comparez la pile que vous installez aux fonctions applicatives d’ALMA pour définir le travail restant autour du moteur. La préparation du GPU ne couvre pas l’import documentaire, les comptes ou l’interface de l’assistant.

Étape 1 : le pilote sur la machine hôte

Le guide de NVIDIA liste trois prérequis : consulter la page de compatibilité des plateformes, installer le pilote NVIDIA, et disposer d'un moteur de conteneurs pris en charge (Docker, Containerd, CRI-O ou Podman). Pour le pilote, NVIDIA recommande le gestionnaire de paquets de votre distribution ; un installateur .run reste possible.

Étape 2 : le NVIDIA Container Toolkit

C'est lui qui permet aux conteneurs d'utiliser les cartes. Le guide décrit l'installation sur trois familles de systèmes :

Famille Outil Principe
Ubuntu, Debian apt ajouter le dépôt de production de NVIDIA, apt-get update, installer les paquets
RHEL, CentOS, Fedora, Amazon Linux dnf ajouter le fichier de dépôt dans /etc/yum.repos.d/, installer les paquets
openSUSE, SLE zypper ajouter le dépôt, installer les paquets

Les quatre paquets cités sont nvidia-container-toolkit, nvidia-container-toolkit-base, libnvidia-container-tools et libnvidia-container1, en version 1.20.1-1 sur la page lue le 16/11/2026. Reprenez les commandes exactes de la page, car la version évolue.

Étape 3 : régler Docker

Deux commandes, selon le guide :

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

La première modifie /etc/docker/daemon.json. Pour Docker sans droits administrateur (« rootless »), le guide indique une variante avec l'option --config=$HOME/.config/docker/daemon.json, un redémarrage côté utilisateur et un réglage supplémentaire nvidia-container-cli.no-cgroups.

Étape 4 : lancer vLLM

La commande de la documentation de vLLM :

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=$HF_TOKEN" \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model Qwen/Qwen3-0.6B

Ce que fait chaque option :

  • --runtime nvidia --gpus all : utilise l'environnement NVIDIA et donne toutes les cartes au conteneur ;
  • -v ~/.cache/huggingface:... : garde les poids du modèle sur la machine, pour ne pas les retélécharger à chaque lancement ;
  • --env "HF_TOKEN=$HF_TOKEN" : transmet votre jeton Hugging Face depuis une variable d'environnement, sans l'écrire dans la commande ;
  • -p 8000:8000 : publie le port du serveur ;
  • --ipc=host : partage la mémoire de la machine ; la documentation précise qu'on peut utiliser --shm-size à la place ;
  • --model : le modèle à charger. L'exemple est un très petit modèle de test ; remplacez-le par celui que votre carte peut accueillir.

Contrôler chaque étape séparément

Avant de lancer le téléchargement des poids, vérifiez que la carte est reconnue sur l’hôte, puis dans le conteneur d’essai recommandé par NVIDIA. Si le chargement du modèle échoue ensuite, relevez l’étape exacte et le message reçu. Distinguez un problème d’accès au matériel d’un manque de mémoire ou d’un accès refusé au dépôt. Conservez les versions du pilote, de l’image et du modèle pour reproduire le diagnostic.

Ce qu'il reste à faire pour un usage réel

L'exemple ne protège pas le port 8000. Avant d'ouvrir le service à d'autres machines, ajoutez une clé d'accès et limitez le réseau : la page installer vLLM pour une équipe détaille ces points. Pour passer à plusieurs machines, voyez vLLM sur Kubernetes. Pour savoir si ce montage a sa place chez vous, relisez le serveur IA interne.

Questions fréquentes

Pourquoi Docker ne voit-il pas ma carte graphique par défaut ?

Il faut installer le NVIDIA Container Toolkit puis configurer l'environnement d'exécution de Docker avec nvidia-ctk runtime configure --runtime=docker, avant de redémarrer Docker.

À quoi sert --ipc=host dans la commande vLLM ?

Elle donne au conteneur accès à la mémoire partagée de la machine, dont PyTorch a besoin pour échanger des données entre processus, surtout en parallélisme tensoriel. L'option --shm-size peut la remplacer.

Le pilote NVIDIA doit-il être installé dans le conteneur ?

Non : le guide de NVIDIA le place parmi les prérequis de la machine hôte, à installer avec le gestionnaire de paquets de la distribution.

Références du carnet

Pages consultées pour écrire cet article :

  1. Site d’ALMA : fonctionnalités
  2. https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
  3. https://docs.vllm.ai/en/latest/deployment/docker.html

À lire aussi