Hogyan válasszuk ki a megfelelő nyílt forráskódú modellt és hardvert

Egy privát LLM telepítése két mélyen összekapcsolt döntéssel kezdődik: melyik modellt futtatjuk, és milyen hardveren. A rossz párosítással vagy olyan képességekre költ, amelyeket nem használ, vagy alulszabja azt a számítási kapacitást, amelyre valójában szüksége van. A jó hír az, hogy a nyílt forráskódú ökoszisztéma odáig érett, hogy szinte minden költségvetésre és feladatra létezik egy jól tesztelt modell – ha tudja, hogyan kell párosítani őket.

Kezdjen a felhasználási esetből, ne a benchmarkból

A modellkiválasztás leggyakoribb hibája, hogy benchmark-eredményekkel vezet, nem feladatkövetelményekkel. Egy modell, amely kiemelkedő eredményt ér el egy kódolási benchmarkon, overkill lehet a support-ticketek összefoglalásához, és olyan késleltetést okozhat, amely alkalmatlanná teszi valós idejű használatra. A modellméret kiválasztása előtt pontosan határozza meg a felhasználási esetet: mennyi az átlagos bemeneti hossz tokenekben? A feladat többlépéses következtetést igényel, vagy elsősorban osztályozást és kinyerést? Hány párhuzamos felhasználót fog a rendszer kiszolgálni? Mi az elfogadható válasz-késleltetés? Milyen nyelveket kell a modellnek folyékonyan kezelnie? Ezek a kérdések jóval hasznosabban szűkítik a keresési területet, mint bármilyen rangsor.

Modellméret-szintek: 7-8 milliárd, 32-70 milliárd és 405 milliárd+

A nyílt forráskódú modell-táj három praktikus méretszint köré konszolidálódott. A 7-8 milliárd paraméteres tartományban – mint a Mistral 7B, Llama 3.1 8B és Qwen2.5 7B – lévő modellek meglepően képesek fókuszált feladatokra: dokumentumosztályozás, kinyerés, összefoglalás és GYIK-stílusú kérdés-megválaszolás visszakeresési korpuszon. Egyetlen fogyasztói vagy prosumer GPU-n kényelmesen futnak, és alacsony késleltetést nyújtanak súlyos optimalizálás nélkül is. A 32-70 milliárd paraméteres szinten – Llama 3.3 70B, Qwen2.5 32B, Mixtral 8x7B – az általános célú következtetés, a többnyelvű folyékonyság és az utasításkövetési minőség jelentősen javul. Ezek a modellek összetett analitikai feladatokat, hosszabb kontextusokat és finomabb generálást tudnak kezelni. Professzionális szintű GPU-kat igényelnek, de egyetlen szerveres telepítéssel is megvalósíthatók. 70 milliárdon felül a modellek, mint a Llama 3.1 405B, frontier szintű képességeket nyújtanak, de több GPU-s beállítást és gondos infrastruktúratervezést igényelnek; ezeket olyan felhasználási esetekre érdemes fenntartani, ahol a minőség az elsődleges szempont és a költségvetés nem.

• 7-8 milliárd paraméteres modellek: fókuszált, nagy áteresztőképességű feladatokra a legjobb – osztályozás, kinyerés, RAG strukturált adatokon. Egyetlen GPU, legalacsonyabb költség.
• 32-70 milliárd paraméteres modellek: erős általános következtetés, többnyelvű támogatás, hosszabb kontextusok. Egyetlen csúcs-GPU vagy kis multi-GPU csomópont.
• 405 milliárd+ paraméteres modellek: frontier minőség a legterhesebb feladatokhoz. Multi-GPU szükséges; tervezze gondosan az infrastruktúrát.
• A szakértők keveréke (MoE) architektúrák (pl. Mixtral) 70 milliárd paraméteres szintű minőséget nyújthatnak közelebb a 13 milliárd aktív paraméter költségéhez – érdemes értékelni, ha az áteresztőképesség számít.

Modellek GPU-khoz illesztése: a VRAM a megkötő korlát

A GPU VRAM az az elsődleges korlát, amely meghatározza, hogy milyen modelleket futtathat és milyen sebességgel. Egy modellnek be kell férnie a VRAM-ba a következtetéshez – plusz tartalékhely kell a KV-cache-nek, amely a kontextushossszal és a kötegmérettel nő. Hozzávetőleges iránymutatásként: egy 7-8 milliárd paraméteres modell 16-bites pontossággal kb. 14-16 GB VRAM-ot igényel; egy 32 milliárd paraméteres modell kb. 64 GB-ot; egy 70 milliárd paraméteres modell kb. 140 GB-ot. Ezért egyetlen 24 GB-os GPU (mint az NVIDIA RTX 3090 vagy 4090) a 7-8 milliárd paraméteres modellek természetes otthona, egy 48 GB-os kártya (RTX 6000 Ada) vagy 80 GB-os A100/H100 lefedi a 32-70 milliárd paraméteres tartományt egy kártyán, és bármi nagyobb NVLink vagy InfiniBand összeköttetéssel rendelkező multi-GPU konfigurációkat igényel.

Kvantizálás: a VRAM-költségvetésen túlra jutás

A kvantizálás csökkenti a modell súlyainak pontosságát – 16-bites lebegőpontosról 8-bites egészre (INT8) vagy 4-bites értékre (GPTQ, AWQ, GGUF Q4) –, ami drasztikusan csökkenti a VRAM-követelményeket. Egy 4-bitre kvantizált 70 milliárd paraméteres modell kb. 35-40 GB VRAM-ba fér, így elérhető két 24 GB-os GPU-s beállításon. A minőségi kompromisszum a kvantizálási módszertől és a feladattól függ: a legtöbb éles felhasználási esetben az INT8 majdnem veszteségmentes, és a jól megvalósított 4-bites kvantizálás megőrzi a modellminőség nagy részét azokhoz a feladatokhoz, amelyek nem érzékenyek nagymértékben a finom következtetési hibákra. A kvantizálás nem megkerülő megoldás – ez egy első osztályú telepítési stratégia, amelyet a Privonis rutinszerűen alkalmaz a hardverköltségvetési euróra jutó képesség maximalizálásához.

A helyes kérdés nem az, hogy "melyik modell a legjobb?", hanem az, hogy "melyik modell elegendő ehhez a feladathoz, az adott hardverköltségvetésünkkel?" A kvantizálás szűkíti a két válasz közötti különbséget jobban, mint a legtöbb csapat várná.

Vásárlás előtti benchmarkolás: az értékelés-először megközelítés

Semmilyen benchmark nem helyettesíti egy modell értékelését a tényleges adatain és feladatain. A hardver melletti döntés előtt a Privonis egy strukturált értékelés futtatását javasolja: definiáljon egy reprezentatív bemeneti készletet az éles felhasználási esetéből, állapítson meg minőségi kritériumokat (pontosság, formátumkövetés, késleltetés a célköteg-méretnél), és teszteljen két-három jelölt modellt bérelt felhő-GPU példányokon. Ez néhány száz euróba kerül, és általában egy-két napot vesz igénybe. Az eredmény egy bizonyítékon alapuló hardver-specifikáció, nem egy találgatás – és gyakran kiderül, hogy egy kisebb, gyorsabb modell elegendő az igényeihez, ami jelentős tőkekiadásokat takarít meg.

• Határozzon meg értékelési bemeneteket valós éles adatokból a modell kiválasztása előtt.
• Tesztelje bérelt GPU-kapacitáson először – felhőpéldányok az értékeléshez, on-premise az élesüzemhez.
• Mérje azt, ami számít: feladatpontosság, p95 késleltetés, token/mp a várható kötegméretnél.
• Fontolja meg egy kisebb modell finomhangolását, mielőtt egy nagyobbra skálázna – egy finomhangolt 7 milliárdos modell gyakran felülmúl egy általános 70 milliárddosat szűk feladatokban.
• Tervezzen a KV-cache-sel: a hosszabb kontextusok gyorsan fogyasztják a VRAM-ot; benchmarkot végezzen a maximális várt kontextushosszon.

Hogyan vezeti a Privonis a kiválasztási folyamatot

A megfelelő modell és hardver kombinációjának kiválasztása az egyik legnagyobb tétű döntés egy privát AI-telepítésben. Egy jól illesztett stack azt a minőséget nyújtja, amelyre szüksége van, olyan költségen, amely egyértelművé teszi az üzleti esetet; egy rosszul illesztett stack vagy parlagon heverő számítási kapacitásra költ el, vagy alulteljesít az olyan feladatokban, amelyek számítanak. A Privonis gyakorlati tapasztalattal rendelkezik nyílt forráskódú LLM-ek kiválasztásában, kvantizálásában, finomhangolásában és benchmarkolásában számos európai vállalati felhasználási esetben. Segítünk elkerülni a drága próba-hiba ciklust, és egy olyan telepítési konfigurációhoz eljutni, amely az elejétől kezdve megfelelő méretű – és ahogy a modellek és a felhasználási esetek fejlődnek, karbantartható marad.