Gyakorlati GPU-vásárlási útmutató on-premise AI-hoz

Az on-premise AI-hoz való GPU-vásárlás az egyik legkövetkezményteljesebb infrastruktúrális döntés, amelyet egy szervezet meghozhat. Ha jól csinálja, egy önellátó, költséghatékony következtetési és finomhangolási platform áll rendelkezésére, amely az idő múlásával értékkel gyarapodik. Ha rosszul, hónapokat tölt GPU-visszaküldési sorokban, vagy ami rosszabb, memóriába nem férő modelleket futtat. Ez az útmutató végigveszi az összes értékelendő dimenziót – VRAM, áteresztőképesség, energiafogyasztás, hűtés és teljes tulajdonlási költség –, hogy az első alkalommal magabiztosan választhasson.

A VRAM az első és legerősebb korlát

Bármely más specifikáció előtt kérdezze meg: hány gigabájt VRAM-ot igényel a célmodell? Egy 7 milliárd paraméteres modell 16-bites pontossággal kb. 14 GB-ot foglal; egy 70 milliárd paraméteres modell kb. 140 GB-ot igényel. A 4-bites kvantizálás ezeket az értékeket 75%-kal csökkentheti, de a kvantizálás minőségi kompromisszumokat vezet be, amelyeket validálni kell a felhasználási esetére. Az alapszabály egyszerű: ha a modell nem fér el a VRAM-ban, a GPU rendszermemóriába kerül át, és az áteresztőképesség egy-két nagyságrenddel összeomlhat. Mindig méretezze a VRAM-ot tartalékkal – legalább 20% szabadon – a KV-cache-nek, amely a kontextushossszal növekszik.

Fogyasztói vs. adatközponti GPU-k

A GPU-piac fogyasztói kártyákra és adatközponti gyorsítókra oszlik, és ez a megkülönböztetés számít az on-premise AI-hoz. Az NVIDIA RTX 4090-hez hasonló fogyasztói GPU-k 24 GB GDDR6X-et kínálnak rendkívüli ár/VRAM arányban, és képesek futtatni az olyan modelleket, mint a Llama 3 70B, 4-bites precizitáson kétkártyás beállításban. Kiválóak kis csapatoknak, K+F laboroknak és költségvetés-első telepítéseknél. Azonban hiányzik belőlük az ECC-memória, nem tervek 24/7-es rack-üzemeltetésre, és egyes joghatóságokban kereskedelmi következtetési használatra vonatkozó korlátozások terhelik őket. Az adatközponti GPU-k – az L4, L40S, A100 és H100/H200 – folyamatos üzemi ciklusokra tervezett, ECC-memóriával rendelkező, nagyvállalati SLA-kkal támogatott eszközök. Az L4 (24 GB) következtetéshez költséghatékony; az L40S (48 GB) jól kezeli a közepes méretű modelleket; az A100 80 GB és a H100/H200 (80 GB+) a nagy modell finomhangolás és a nagy áteresztőképességű kiszolgálás standard eszköze. A Privonis éppen azért tervezi a telepítéseket adatközponti GPU-k köré, mert az európai vállalati ügyfeleknek szükségük van arra a megbízhatósági garanciára.

• RTX 4090 – 24 GB GDDR6X, ~1 008 GB/s sávszélesség, legjobb ár/VRAM fejlesztési munkaterhelésekhez.
• L4 – 24 GB GDDR6, PCIe formátum, alacsony energiafogyasztás (72 W), ideális következtetési berendezésekhez.
• L40S – 48 GB GDDR6, magas FP8 áteresztőképesség, a közepes méretű modellek nagybani kiszolgálásának fő eszköze.
• A100 80 GB – 80 GB HBM2e, NVLink-támogatás, a nagy modellek bevált gyártási szabványa.
• H100 / H200 – 80-141 GB HBM3/3e, transformer motor FP8-cal, maximális elérhető áteresztőképesség.

Egyetlen GPU vs. multi-GPU stratégiák

Egyetlen magas VRAM-os GPU egyszerűen tartja a stacket: nincs tenzor-párhuzamosság konfiguráció, nincs NVLink-hálókezelés, kisebb meghibásodási felület. Kezdjen egyetlen GPU-val, amikor a modell belefér és az áteresztőképességi cél elérhető. Amikor ez nem teljesül – akár mert a modell túl nagy, akár mert tucatnyi párhuzamos felhasználót kell kiszolgálni –, több GPU-ra kell majd kiterjednie. Az NVLink drámaian felülmúlja a PCIe-t a GPU-k közötti sávszélesség tekintetében (900 GB/s vs ~64 GB/s kétirányú PCIe 5.0-n), ami kritikus a tenzor-párhuzamossághoz. Ha a költségvetés kizárólag PCIe-s multi-GPU konfigurációra kényszerít, a tenzor-párhuzamosság helyett részfolyamat-párhuzamosságot részesítse előnyben az eszközök közötti forgalom minimalizálása érdekében.

Energiafogyasztás, hűtés és rack-tervezés

Az adatközponti GPU-k 72 W (L4) és 700 W (H100 SXM5) között fogyasztanak. Egy nyolc H100-ból álló DGX-rendszer tartós terhelésnél akár 10 kW-ot húzhat a hálózatból. Mielőtt hardvert rendelne, erősítse meg, hogy az adatközpont vagy szerverpompa képes biztosítani a szükséges áramköröket és megfelelő hűtést – jellemzően 12-15 °C-os szállítási levegőt vagy közvetlen folyadékhűtést a legsűrűbb konfigurációkhoz. Az energiasűrűség figyelmen kívül hagyása az on-premise AI-projektek telepítési késéseinek leggyakoribb egyedüli oka.

Vásárlás vs. bérlés: a TCO-számítás

A felhő-GPU bérlés üzemeltetési szempontból kényelmes, de léptékben drága. Egy H100-példány egy nagyobb felhőszolgáltatónál nagyjából 3-4 EUR/GPU-óra, ami folyamatos felhasználásnál GPU-nként évi 26 000 EUR fölé kerül. Ugyanaz a GPU megvásárolva 25 000-35 000 EUR-ba kerül, és jellemzően három-öt év hasznos élettartammal rendelkezik. A nagy kihasználtságú munkaterheléseknél a megtérülési pont tizenkét-tizennyolc hónapra esik – ezt követően az on-premise szigorúan olcsóbb. A Privonis segíti az ügyfeleket ennek a TCO-modellnek a felépítésében bármelyik út melletti elkötelezés előtt, mert a helyes válasz a kihasználtsági rátától, az amortizációs időszaktól és az adatszuverenitás üzleti értékétől függ.

Az a GPU, amelyet folyamatosan képes futtatni, mindig felülmúlja a sporadikusan bérelt GPU-t. A kihasználtság a valódi teljesítményszorzó.

Gyakorlati vásárlási ellenőrzőlista

• Határozza meg a legnagyobb célmodellt és számítsa ki a VRAM-követelményt a kívánt pontosságon.
• Adjon hozzá 20%-os VRAM-tartalékot a KV-cache-nek és a jövőbeli modellfrissítéseknek.
• Ellenőrizze az áramköri kapacitást és a hűtést, mielőtt megadná a GPU-számot.
• Részesítse előnyben az ECC adatközponti GPU-kat 24/7-es gyártáshoz; a fogyasztói kártyák elfogadhatók K+F-hez.
• Modellezze a multi-GPU összeköttetést (NVLink vs. PCIe), mielőtt döntene a párhuzamossági stratégiáról.
• Készítsen 24 hónapos TCO-összehasonlítást a vásárlás, amortizáció, energia és karbantartás kontra felhőbérlés alapján.
• Vonjon be egy szállítót – mint a Privonis –, amely validálni tudja a teljes stacket: GPU, szerver, OS, következtetési futtatókörnyezet és monitorozás.

A GPU-beszerzés nem egyszeri vásárlás; ez az AI-infrastruktúra menetrendjének alapja. A VRAM-követelmények, az energiakorlátok és a teljes tulajdonlási költség modellezésére fordított idő hónapnyi újramunkát és tízezer eurót takaríthat meg. Ha ingyenes architektúra-felülvizsgálatot szeretne az on-premise AI-projektjéhez, a Privonis csapata kész segíteni.