Kuidas valida õige avatud lähtekoodiga mudel ja riistvara

Privaatse LLM-i paigaldamine algab kahe otsusega, mis on tihedalt omavahel seotud: millist mudelit käitada ja millisel riistvaral seda käitada. Kui paaris valesti valida, kulutate ülemäära võimekusele, mida te ei kasuta, või ei tarni piisavalt arvutust, mida teie kasutusjuhtum tegelikult vajab. Hea uudis on see, et avatud lähtekoodiga ökosüsteem on küpsenud punktini, kus on hästi katsetatud mudel peaaegu iga eelarve ja ülesande jaoks — kui teate, kuidas neid sobitada.

Alusta kasutusjuhtumist, mitte võrdlustestidest

Kõige levinum viga mudelivalikus on võrdlustestide tulemuste eesotsa seadmine ülesande nõuete asemel. Mudel, mis saavutab tipptasemel tulemused kodeerimise võrdlustestis, võib olla üleliigne tugiteadete kokkuvõtmiseks ja võib lisada latentsust, mis muudab selle reaalajas kasutamiseks sobimatuks. Enne mudeli suuruse valimist määratlege oma kasutusjuhtum täpselt: Mis on keskmine sisendi pikkus tokenites? Kas ülesanne nõuab mitmeastmelist arutlust või on see peamiselt klassifitseerimine ja ekstraheerimine? Kui palju paralleelseid kasutajaid süsteem teenindab? Mis on vastuvõetav vastuse latentsus? Milliseid keeli peab mudel vabalt käsitlema? Need küsimused piiravad teie otsinguruumi palju kasulikumalt kui mis tahes edetabel.

Mudelisuuruse tasemed: 7–8B, 32–70B ja 405B+

Avatud lähtekoodiga mudeli maastik on koondunud kolme praktilise suurusetaseme ümber. Mudelid 7–8 miljardit parameetrit vahemikus — nagu Mistral 7B, Llama 3.1 8B ja Qwen2.5 7B — on fokuseeritud ülesannete jaoks märkimisväärselt võimelised: dokumentide klassifitseerimine, ekstraheerimine, kokkuvõtmine ja FAQ-stiilis küsimustele vastamine hangitud korpuse üle. Need töötavad mugavalt ühel tarbija- või prosuumer-GPU-l ja pakuvad madalat latentsust isegi ilma mahuka optimeerimiseta. 32–70 miljardi parameetri tase — Llama 3.3 70B, Qwen2.5 32B, Mixtral 8x7B — on see, kus üldotstarbeline arutlus, mitmekeelne sujuvus ja juhiste järgimise kvaliteet paranevad oluliselt. Need mudelid saavad hakkama keerukate analüütiliste ülesannete, pikemate kontekstide ja peenemate genereerimistega. Nad nõuavad professionaalseid GPU-sid, kuid jäävad ühe serveri paigaldamise jaoks saavutatavaks. Üle 70 miljardi parameetri mudelid nagu Llama 3.1 405B pakuvad piirilähedast võimekust, kuid nõuavad mitme GPU seadistust ja hoolikat infrastruktuuri planeerimist; need on kõige paremini reserveeritud kasutusjuhtumite jaoks, kus kvaliteet on peamine piirang ja eelarve mitte.

• 7–8B mudelid: parimad fokuseeritud, kõrge läbilaskevõimega ülesannete jaoks — klassifitseerimine, ekstraheerimine, RAG struktureeritud andmete üle. Üks GPU, madalaim kulu.
• 32–70B mudelid: tugev üldine arutlus, mitmekeelne tugi, pikemad kontekstid. Üks kõrgetasemeline GPU või väike mitme-GPU sõlm.
• 405B+ mudelid: piirilähedane kvaliteet kõige nõudlikemate ülesannete jaoks. Mitu GPU nõutud; planeerige infrastruktuur hoolikalt.
• Ekspertide segmentide (MoE) arhitektuurid (nt Mixtral) suudavad pakkuda 70B-klassi kvaliteeti lähemal 13B aktiivse parameetri kulule — väärib hindamist, kui läbilaskevõime on oluline.

Mudelite sobitamine GPU-dega: VRAM on siduv piirang

GPU VRAM on peamine piirang, mis määrab, milliseid mudeleid saate käitada ja mis kiirusel. Mudel peab mahutuma VRAM-i järelduseks — koos täiendava ruumiga KV vahemälu jaoks, mis kasvab konteksti pikkuse ja partii suurusega. Ligikaudseks juhiseks: 7–8 miljardit parameetrit mudel 16-bitises täpsuses nõuab umbes 14–16 GB VRAM-i; 32 miljardit parameetrit mudel vajab ligikaudu 64 GB; 70 miljardit parameetrit mudel vajab umbes 140 GB. Seetõttu on üks 24 GB GPU (nagu NVIDIA RTX 3090 või 4090) looduslik kodu 7–8B mudelitele, 48 GB kaart (RTX 6000 Ada) või 80 GB A100/H100 katab 32–70B vahemiku ühel kaardil ja kõik suurem nõuab mitme-GPU konfiguratsioone NVLinki või InfiniBandi ühendustega.

Kvantimine: oma VRAM eelarve piiridest kaugemale jõudmine

Kvantimine vähendab mudeli kaalude täpsust — 16-bitistest ujukomaarvudest 8-bitistele täisarvudele (INT8) või 4-bitistele (GPTQ, AWQ, GGUF Q4) — vähendades dramaatiliselt VRAM nõudeid. 4-bitiseks kvantitud 70B mudel mahub ligikaudu 35–40 GB VRAM-i, muutes selle kättesaadavaks kahe 24 GB GPU seadistusega. Kvaliteedikompromiss sõltub kvantimismeetodist ja ülesandest: enamiku tootmise kasutusjuhtumite puhul on INT8 peaaegu kaotuseta ja hästi rakendatud 4-bitine kvantimine säilitab suurema osa mudeli kvaliteedist ülesannete jaoks, mis ei ole eriti tundlikud peene arutlemise vigade suhtes. Kvantimine ei ole lahendus — see on esmaklassiline paigaldamisstrateegia, mida Privonis kasutab rutiinselt maksimaalse võimekuse saavutamiseks euro eest riistvara eelarvet.

Õige küsimus ei ole "milline mudel on parim?" vaid "milline mudel on selle ülesande jaoks piisav, meie riistvara eelarve juures?" Kvantimine sulgeb kahe vastuse vahelise lõhe rohkem, kui enamik meeskondi ootab.

Võrdlustestimine enne ostmist: hindamist-esimene lähenemine

Ükski võrdlustest ei asenda mudeli hindamist teie tegelikel andmetel ja ülesannetel. Enne riistvara hankimist soovitab Privonis läbi viia struktureeritud hindamise: määratlege oma tootmiskasutusjuhtumi esindav sisendikogum, kehtestage kvaliteedikriteeriumid (täpsus, formaadile vastavus, latentsus teie eesmärgiks seatud partiisuurusega) ja testige kahte kuni kolme kandidaatmudelit renditud pilve GPU instanssidel. See maksab mõnisada eurot ja võtab tavaliselt päeva-paar. Tulemus on tõenduspõhine riistvara spetsifikatsioon, mitte arvamus — ja sageli selgub, et väiksem, kiirem mudel vastab teie vajadustele, säästes märkimisväärset kapitalikulu.

• Määratlege hindamise sisendid tegelikest tootmisandmetest enne mudeli valimist.
• Testige esmalt renditud GPU võimsusel — pilv hindamiseks, kohapealne tootmiseks.
• Mõõtke, mis loeb: ülesande täpsus, p95 latentsus, tokenid sekundis teie eeldatava partiisuurusega.
• Kaaluge väiksema mudeli peenhäälestamist enne suuremale skaleerimist — peenhäälestatud 7B ületab sageli üldist 70B kitsastes ülesannetes.
• Planeerige KV vahemälu jaoks: pikemad kontekstid tarbivad VRAM-i kiiresti; võrdlustestimise maksimaalse eeldatava konteksti pikkusel.

Kuidas Privonis valikuprotsessi juhib

Õige mudeli ja riistvara kombinatsiooni valimine on üks suurima mõjuga otsuseid privaatse AI paigaldamisel. Hästi sobitatud virn pakub teile vajalikku kvaliteeti kuluga, mis teeb ärijuhtumi selgeks; halvasti sobitatud kulutab ülemäära jõudeoleku arvutusele või ei saa ülesannetega hakkama, mis on tähtsad. Privonis toob käsitsi kogemuse avatud lähtekoodiga LLM-de valikul, kvantimises, peenhäälestuses ja võrdlustestimisel erinevate Euroopa ettevõtte kasutusjuhtumite vahemikus. Me aitame teil vältida kallist katse-eksituse tsüklit ja jõuda paigaldamise konfiguratsiooni, mis on algusest peale õigesti dimensioneeritud — ja mis jääb hooldatavaks kui mudelid ja teie kasutusjuhtumid arenevad.