Kako odabrati pravi open-source model i hardver

Implementacija privatnog LLM-a počinje s dvije odluke koje su duboko isprepletene: koji model pokrenuti i na kakvom hardveru ga pokrenuti. Pogrešno sparivanje rezultira prekomjernom potrošnjom na mogućnosti koje ne koristite ili nedovoljnom količinom računalne snage koju vaš slučaj upotrebe zapravo treba. Dobra vijest je da je open-source ekosustav sazrio do točke gdje postoji dobro testiran model za gotovo svaki proračun i zadatak — ako znate kako ih spariti.

Počnite od slučaja upotrebe, a ne od referentnih vrijednosti

Najčešća greška pri odabiru modela je vođenje referentnim rezultatima umjesto zahtjevima zadatka. Model koji postiže vrhunske rezultate na referentnoj vrijednosti kodiranja može biti pretjeran za sažimanje zahtjeva za podršku i može uvesti latenciju koja ga čini nepodesnim za upotrebu u stvarnom vremenu. Prije odabira veličine modela, precizno definirajte slučaj upotrebe: Koja je prosječna duljina unosa u tokenima? Zahtijeva li zadatak višestupanjsko zaključivanje ili se radi pretežno o klasifikaciji i ekstrakciji? Koliko istovremenih korisnika će sustav posluživati? Koja je prihvatljiva latencija odgovora? Kojim jezicima model mora tečno upravljati? Ova pitanja ograničavaju vaš prostor pretrage daleko korisnije od bilo koje ljestvice.

Razine veličine modela: 7–8B, 32–70B i 405B+

Open-source krajobraz modela konsolidirao se oko tri praktične razine veličina. Modeli u rasponu parametara 7–8B — kao što su Mistral 7B, Llama 3.1 8B i Qwen2.5 7B — iznimno su sposobni za fokusirane zadatke: klasifikaciju dokumenata, ekstrakciju, sažimanje i odgovaranje na pitanja u stilu FAQ-a nad korpusom za dohvat. Udobno rade na jednom potrošačkom ili prosumerskom GPU-u i pružaju nisku latenciju čak i bez intenzivne optimizacije. Razina 32–70B — Llama 3.3 70B, Qwen2.5 32B, Mixtral 8x7B — gdje se opće zaključivanje, višejezična tečnost i kvaliteta praćenja uputa značajno poboljšavaju. Ti modeli mogu rukovati složenim analitičkim zadacima, dužim kontekstima i suptilnijim generiranjem. Zahtijevaju GPU-ove profesionalne razine, ali ostaju dostižni za implementaciju na jednom poslužitelju. Iznad 70B, modeli kao što je Llama 3.1 405B pružaju sposobnosti graničnih razina, ali zahtijevaju postavljanja s više GPU-ova i pažljivo planiranje infrastrukture; oni su najbolje rezervirani za slučajeve upotrebe gdje je kvaliteta primarna prepreka i proračun nije.

• Modeli 7–8B: najbolji za fokusirane, visokopropusne zadatke — klasifikacija, ekstrakcija, RAG nad strukturiranim podacima. Jedan GPU, najniži trošak.
• Modeli 32–70B: snažno opće zaključivanje, višejezična podrška, dulji konteksti. Jedan visokoklasni GPU ili mali višeGPU čvor.
• Modeli 405B+: granična kvaliteta za najzahtjevnije zadatke. Potrebno više GPU-ova; pažljivo planirajte infrastrukturu.
• Arhitekture mješavine stručnjaka (MoE) (npr. Mixtral) mogu pružiti kvalitetu razine 70B po cijeni bližoj troškovima aktivnih parametara 13B — vrijedi procijeniti ako je propusnost važna.

Sparivanje modela s GPU-ovima: VRAM je vezujuće ograničenje

GPU VRAM je primarna prepreka koja određuje koje modele možete pokrenuti i kojom brzinom. Model mora stati u VRAM za zaključivanje — s dodatnim prostorom za KV cache koji raste s duljinom konteksta i veličinom serije. Kao grubi vodič: model 7–8B u preciznosti 16-bit zahtijeva oko 14–16 GB VRAM-a; model 32B treba otprilike 64 GB; model 70B treba oko 140 GB. Upravo zbog toga je jedan 24 GB GPU (kao što je NVIDIA RTX 3090 ili 4090) prirodno okruženje za modele 7–8B, kartica 48 GB (RTX 6000 Ada) ili 80 GB A100/H100 pokriva raspon 32–70B na jednoj kartici, a sve veće zahtijeva konfiguracije s više GPU-ova s NVLink ili InfiniBand međuodnosima.

Kvantizacija: dosezanje izvan vašeg VRAM proračuna

Kvantizacija smanjuje preciznost težina modela — s 16-bitnih decimalnih brojeva na 8-bitne cijele brojeve (INT8) ili 4-bitne (GPTQ, AWQ, GGUF Q4) — dramatično smanjujući zahtjeve za VRAM-om. Model 70B kvantiziran na 4-bita može stati u otprilike 35–40 GB VRAM-a, čineći ga dostupnim na postavljanju s dva 24 GB GPU-a. Kompromis kvalitete ovisi o metodi kvantizacije i zadatku: za većinu produkcijskih slučajeva upotrebe, INT8 je gotovo bez gubitaka, a dobro implementirana 4-bitna kvantizacija čuva većinu kvalitete modela za zadatke koji nisu visoko osjetljivi na suptilne pogreške zaključivanja. Kvantizacija nije zaobilazno rješenje — to je strategija implementacije prve klase koju Privonis rutinski koristi za maksimiziranje sposobnosti po euru hardverskog proračuna.

Pravo pitanje nije "koji je model najbolji?" već "koji je model dovoljan za ovaj zadatak, na hardverskom proračunu koji imamo?" Kvantizacija premošćuje jaz između dva odgovora više nego što većina timova očekuje.

Referentno testiranje prije kupnje: pristup evaluacija-prva

Nijedna referentna vrijednost ne zamjenjuje evaluaciju modela na vašim stvarnim podacima i zadacima. Prije obvezivanja na hardver, Privonis preporučuje provođenje strukturirane evaluacije: definirajte reprezentativni skup ulaza iz vašeg produkcijskog slučaja upotrebe, uspostavite kriterije kvalitete (točnost, pridržavanje formata, latencija pri ciljnoj veličini serije) i testirajte dva ili tri kandidatska modela na iznajmljenim cloud GPU instancama. To košta nekoliko stotina eura i tipično traje dan ili dva. Rezultat je specifikacija hardvera temeljena na dokazima, a ne pogađanje — i često otkriva da manji, brži model zadovoljava vaše potrebe, štedeći značajne kapitalne troškove.

• Definirajte ulaze za evaluaciju iz stvarnih produkcijskih podataka prije odabira modela.
• Testirajte prvo na iznajmljenoj GPU kapacitetu — cloud instance za evaluaciju, on-premise za produkciju.
• Mjerite ono što je važno: točnost zadatka, latencija p95, tokeni po sekundi pri očekivanoj veličini serije.
• Razmotrite fino podešavanje manjeg modela prije skaliranja na veći — fino podešeni 7B često nadmašuje generički 70B na uskim zadacima.
• Planirajte za KV cache: dulji konteksti brzo troše VRAM; referentno testirajte pri maksimalnoj očekivanoj duljini konteksta.

Kako Privonis vodi proces odabira

Odabir prave kombinacije modela i hardvera jedna je od odluka s najvećim utjecajem u privatnoj AI implementaciji. Dobro upareni stog pruža kvalitetu koja vam je potrebna po trošku koji čini poslovni slučaj jasnim; loše upareni ili pretjerano troši na neiskorištenoj računalnoj snazi ili podcjenjuje zadatke koji su važni. Privonis donosi praktično iskustvo u odabiru, kvantiziranju, finom podešavanju i referentnom testiranju open-source LLM-ova kroz niz europskih poslovnih slučajeva upotrebe. Pomažemo vam izbjeći skupi ciklus pokušaja i pogrešaka i dolazi do konfiguracije implementacije koja je ispravno dimenzionirana od samog početka — i koja ostaje održiva kako modeli i vaši slučajevi upotrebe evoluiraju.