Peut-on partager les GPU du serveur d'IA avec d'autres applications ?

L'ANSSI recommande de dédier les GPU au système d'IA (R16). Ils peuvent être partagés entre plusieurs modèles d'IA de même niveau de sensibilité, pas avec d'autres applications métier.

Que faire si le serveur d'IA tombe en panne ?

L'ANSSI recommande de prévoir un mode dégradé (R15) : au minimum une procédure qui permet aux utilisateurs de répondre aux besoins métier sans le système d'IA.

Serveur d'IA générative interne : l'architecture à prévoir

Installer une IA générative sur un serveur de l'entreprise, ce n'est pas seulement poser une carte graphique et un modèle : c'est un petit système d'information à part, avec ses environnements, son réseau, ses comptes et ses journaux. Le guide de l'ANSSI (Agence nationale de la sécurité des systèmes d'information) du 29/04/2024, « Recommandations de sécurité pour un système d'IA générative », donne la structure. Cette page la traduit en architecture concrète.

Pourquoi le faire ? La CNIL indique, dans ses questions-réponses du 18/07/2024, que pour des données personnelles ou sensibles il est « plus opportun et plus sécurisé » de privilégier un déploiement sur site, ce qui limite les risques d'extraction de données par un tiers. Elle rappelle aussi que cette installation a un coût.

Le schéma d'ensemble

Bloc	Rôle	Recommandation ANSSI
Passerelle Internet	Seul point d'entrée si le service est exposé hors du réseau interne	R13
Serveur d'inférence	Fait tourner le modèle sur des GPU dédiés	R16, R17
Environnements séparés	Entraînement, déploiement, production	R11, R12
Postes d'administration	Opérations à privilèges	R10
Journalisation	Trace de tous les traitements	R29
Mode dégradé	Continuer à travailler sans l'IA	R15

1. Séparer les environnements

L'ANSSI distingue trois phases dans la vie d'un système d'IA : entraînement, déploiement, production. Elle recommande de les héberger dans des environnements de confiance adaptés (R11) et de les cloisonner (R12) sur quatre plans :

réseau : chaque environnement dans un réseau physiquement ou logiquement dédié ;
système : des serveurs physiques ou des hyperviseurs dédiés ;
stockage : des disques dédiés, ou au minimum un cloisonnement logique ;
comptes et secrets : des comptes utilisateurs et administrateurs distincts, des secrets distincts.

Pour une PME qui se contente d'utiliser un modèle déjà entraîné, il reste au moins deux environnements à séparer : celui où l'on teste une nouvelle version et celui que les équipes utilisent.

Le guide rappelle aussi que les modèles sont considérés « du même niveau de sensibilité » que les données qui ont servi à les concevoir : un modèle affiné sur vos dossiers se protège comme vos dossiers.

2. Dédier les GPU

Les GPU (processeurs graphiques) traitent les données sensibles que le modèle manipule. L'ANSSI recommande (R16) :

de les réserver au système d'IA, sans les partager avec d'autres applications métier ;
en cas de virtualisation, de dédier les hyperviseurs qui accèdent aux cartes, ou au minimum d'activer un filtrage matériel (par exemple l'IOMMU) qui limite l'accès des machines virtuelles à la mémoire des GPU.

Les GPU peuvent en revanche être partagés entre plusieurs modèles d'IA de même sensibilité. L'ANSSI demande aussi de vérifier que le système n'est pas vulnérable aux attaques par canaux auxiliaires, qui pourraient permettre de reconstruire une réponse à partir de mesures de temps ou de consommation (R17).

3. Choisir le moteur d'inférence

Le moteur d'inférence est le logiciel qui charge le modèle et répond aux requêtes. Pour ses modèles, Mistral AI recommande vLLM, qui peut exposer une API compatible OpenAI, et cite aussi TensorRT-LLM et TGI. Une API compatible permet de brancher vos applications internes sans réécrire leur code d'appel. L'installation pas à pas est traitée sur notre site consacré à l'IA en local.

4. Exposer le service avec prudence

Si des collaborateurs nomades ou des clients doivent y accéder depuis Internet, l'ANSSI recommande une passerelle sécurisée (R13) :

un serveur mandataire inverse (reverse proxy) devant le service web de l'IA ;
deux zones de filtrage par pare-feu, une côté Internet, une avant le système d'IA ;
ne pas exposer l'annuaire interne de l'entreprise pour l'authentification ;
ne pas mutualiser sur un même hyperviseur les fonctions de sécurité de la passerelle (pare-feu, mandataire, journalisation).

5. Encadrer l'administration et journaliser

Les opérations à privilèges (changer de modèle, modifier les données, brancher une nouvelle application) doivent être définies et validées, faites avec des comptes dédiés depuis un poste d'administration dédié, avec le moindre privilège et de préférence des jetons d'authentification temporaires (R10). L'environnement de développement doit être administré au même niveau que la production. Tous les traitements doivent être journalisés (R29) : voyez la journalisation d'un système d'IA.

6. Prévoir le mode dégradé

Un serveur interne tombe en panne comme les autres. L'ANSSI demande de prévoir au minimum une procédure de contournement pour que les équipes répondent aux besoins métier sans l'IA (R15). Prenons un exemple illustratif : un service client qui rédige ses réponses avec l'IA garde ses modèles de réponses habituels, prêts à servir.

Avant de vous lancer

Comptez les compétences autant que le matériel : système, réseau, sécurité, mise à jour du modèle. Si vous ne les avez pas, un hébergeur qui vous loue un serveur dédié dans une offre qualifiée peut être un compromis : voyez SecNumCloud et IA générative et le comparatif des options. L'ensemble des recommandations de l'ANSSI, vu côté utilisateur d'un assistant, est résumé sur cette page du site Collabor-IA.