Guide pratique d’achat de GPU pour l’IA on-premise

L’achat de GPU pour l’IA on-premise est l’une des décisions d’infrastructure les plus déterminantes qu’une organisation puisse prendre. Si c’est réussi, vous disposez d’une plateforme d’inférence et de fine-tuning autonome et efficace en coûts qui prend de la valeur au fil du temps. Si c’est raté, vous passez des mois dans des files d’attente de retour GPU ou, pire, vous faites tourner des modèles trop grands pour tenir en mémoire. Ce guide passe en revue toutes les dimensions à évaluer — VRAM, débit, consommation électrique, refroidissement et coût total de possession — afin que vous puissiez choisir en toute confiance dès le premier essai.

La VRAM est la première et la plus contraignante des contraintes

Avant toute autre spécification, posez-vous la question : combien de gigaoctets de VRAM mon modèle cible nécessite-t-il ? Un modèle de 7 milliards de paramètres en précision 16 bits occupe environ 14 Go ; un modèle de 70 milliards de paramètres en nécessite environ 140 Go. La quantization en 4 bits peut réduire ces chiffres de 75 %, mais elle introduit des compromis de qualité qui doivent être validés pour votre cas d’usage. La règle cardinale est simple : si le modèle ne tient pas en VRAM, le GPU se déversera sur la RAM système et le débit s’effondrera d’un à deux ordres de grandeur. Dimensionnez toujours la VRAM avec une marge — au moins 20 % libre — pour le cache clé-valeur qui croît avec la longueur du contexte.

GPU grand public vs GPU datacenter

Le marché des GPU se divise en cartes grand public et en accélérateurs datacenter, et la distinction est importante pour l’IA on-premise. Les GPU grand public comme le NVIDIA RTX 4090 offrent 24 Go de GDDR6X avec des rapports prix/VRAM extraordinaires et peuvent faire tourner des modèles comme Llama 3 70B en 4 bits sur une configuration à deux cartes. Ils sont excellents pour les petites équipes, les laboratoires de R&D et les déploiements axés sur le budget. Cependant, ils manquent de mémoire ECC, ne sont pas conçus pour un fonctionnement 24h/24 en rack, et comportent des limitations sur l’inférence commerciale dans certaines juridictions. Les GPU datacenter — les L4, L40S, A100 et H100/H200 — sont conçus pour des cycles de fonctionnement continus, disposent de mémoire ECC pour l’intégrité numérique et bénéficient de SLA entreprise. Le L4 (24 Go) est économique pour l’inférence ; le L40S (48 Go) gère bien les modèles de taille moyenne ; l’A100 80 Go et le H100/H200 (80 Go+) sont la référence pour le fine-tuning de grands modèles et le service à haut débit. Privonis conçoit ses déploiements autour de GPU datacenter précisément parce que les clients entreprise européens exigent cette garantie de fiabilité.

• RTX 4090 — 24 Go GDDR6X, ~1 008 Go/s de bande passante, meilleur prix/VRAM pour les charges de travail dev.
• L4 — 24 Go GDDR6, format PCIe, faible consommation (72 W), idéal pour les appliances d’inférence.
• L40S — 48 Go GDDR6, haut débit FP8, le cheval de bataille pour les modèles de taille moyenne à grande échelle.
• A100 80 Go — 80 Go HBM2e, support NVLink, la référence de production éprouvée pour les grands modèles.
• H100 / H200 — 80–141 Go HBM3/3e, moteur transformer avec FP8, débit maximal disponible.

Stratégies GPU unique vs multi-GPU

Un seul GPU à haute VRAM simplifie la pile : pas de configuration de parallélisme tensoriel, pas de tissu NVLink à gérer, surface de défaillance plus faible. Commencez avec un seul GPU chaque fois que le modèle y tient et que votre objectif de débit est atteignable. Quand ce n’est pas le cas — soit parce que le modèle est trop grand, soit parce que vous devez servir des dizaines d’utilisateurs simultanés — vous devrez vous étendre sur plusieurs GPU. NVLink surpasse dramatiquement PCIe pour la bande passante inter-GPU (900 Go/s vs ~64 Go/s bidirectionnel sur PCIe 5.0), ce qui est critique pour le parallélisme tensoriel. Si votre budget vous contraint à un multi-GPU PCIe uniquement, préférez le parallélisme de pipeline au parallélisme tensoriel pour minimiser le trafic entre appareils.

Consommation électrique, refroidissement et planification rack

Les GPU datacenter consomment entre 72 W (L4) et 700 W (H100 SXM5). Un système DGX à huit H100 peut tirer 10 kW du réseau électrique sous charge soutenue. Avant de commander du matériel, confirmez que votre centre de données ou votre salle des serveurs peut fournir les circuits électriques nécessaires et assurer un refroidissement adéquat — généralement 12 à 15 °C d’air soufflé ou refroidissement liquide direct pour les configurations les plus denses. Négliger la densité électrique est la cause la plus courante de retards de déploiement dans les projets IA on-premise.

Acheter vs louer : le calcul du TCO

La location de GPU cloud est pratique sur le plan opérationnel mais coûteuse à grande échelle. Une instance H100 chez un grand fournisseur cloud coûte environ 3 à 4 € par heure-GPU, ce qui représente plus de 26 000 € par GPU et par an à utilisation continue. Le même GPU acheté directement coûte 25 000 à 35 000 € et a généralement une durée de vie utile de trois à cinq ans. Le point d’équilibre pour les charges de travail à utilisation élevée se situe entre douze et dix-huit mois — après quoi l’on-premise est strictement moins cher. Privonis aide ses clients à construire ce modèle TCO avant de s’engager dans l’une ou l’autre voie, car la bonne réponse dépend du taux d’utilisation, de la période d’amortissement et de la valeur de la souveraineté des données pour l’activité.

Le GPU que vous pouvez vous permettre de faire tourner continuellement surpassera toujours celui que vous louez de façon sporadique. L’utilisation est le vrai multiplicateur de performance.

Liste de contrôle pratique pour l’achat

• Définissez votre plus grand modèle cible et calculez l’exigence VRAM à la précision souhaitée.
• Ajoutez 20 % de marge VRAM pour le cache KV et les futures mises à jour du modèle.
• Vérifiez la capacité des circuits électriques et le refroidissement avant de spécifier le nombre de GPU.
• Préférez les GPU datacenter ECC pour la production 24h/24 ; les cartes grand public sont acceptables pour la R&D.
• Modélisez l’interconnexion multi-GPU (NVLink vs PCIe) avant de décider de la stratégie de parallélisme.
• Construisez un TCO sur 24 mois comparant achat, amortissement, énergie et maintenance par rapport à la location cloud.
• Faites appel à un fournisseur — tel que Privonis — qui peut valider la pile complète : GPU, serveur, OS, runtime d’inférence et monitoring.

L’achat de GPU n’est pas un achat ponctuel ; c’est le fondement de votre feuille de route d’infrastructure IA. Investir le temps nécessaire pour modéliser les besoins en VRAM, les contraintes électriques et le coût total de possession avant d’acheter vous épargnera des mois de refonte et des dizaines de milliers d’euros. Si vous souhaitez une revue d’architecture gratuite pour votre projet IA on-premise, l’équipe Privonis est prête à vous aider.