Kā izvēlēties pareizo atvērtā pirmkoda modeli un aparatūru

Privāta LLM izvietošana sākas ar diviem lēmumiem, kas ir cieši savstarpēji saistīti: kuru modeli darbināt un uz kādas aparatūras to darbināt. Kļūdīties savienojumā un jūs vai nu pārmaksājat par iespējām, ko neizmantojat, vai nepietiekami nodrošināt aprēķinus, ko jūsu lietošanas gadījums faktiski prasa. Labā ziņa ir tā, ka atvērtā pirmkoda ekosistēma ir pietiekami nobriedusi, ka gandrīz katram budžetam un uzdevumam ir pārbaudīts modelis — ja zināt, kā tos saskaņot.

Sāciet no lietošanas gadījuma, nevis no etalontestu

Visbiežākā kļūda modeļa izvēlē ir sākšana ar etalontesta punktiem, nevis uzdevuma prasībām. Modelis, kas sasniedz modernākos rezultātus kodēšanas etalontestā, var būt pārāk sarežģīts atbalsta biļešu apkopošanai un var ieviest latentumu, kas padara to nepiemērotu reāllaika lietošanai. Pirms modeļa lieluma izvēles precīzi definējiet savu lietošanas gadījumu: kāds ir vidējais ievadnes garums žetonos? Vai uzdevums prasa daudzpakāpju loģiku vai galvenokārt ir klasifikācija un ekstrakcija? Cik vienlaicīgu lietotāju sistēma apkalpos? Kāds ir pieļaujamais atbildes latentums? Kādas valodas modelim jāapstrādā brīvi? Šie jautājumi ierobežo jūsu meklēšanas telpu daudz noderīgāk nekā jebkurš rangu saraksts.

Modeļa lieluma pakāpes: 7–8 milj., 32–70 milj. un 405 milj.+

Atvērtā pirmkoda modeļa ainava ir konsolidēta ap trim praktiskām lieluma pakāpēm. Modeļi 7–8 miljardu parametru diapazonā — piemēram, Mistral 7B, Llama 3.1 8B un Qwen2.5 7B — ir pārsteidzoši spējīgi fokusētiem uzdevumiem: dokumentu klasifikācijai, ekstrakcija, apkopošanai un FAQ stila jautājumu atbildēšanai virs izgūšanas korpusa. Tie ērti darbojas uz vienas patērētāja vai prosumer GPU un nodrošina zemu latentumu pat bez smagas optimizācijas. 32–70 miljardu pakāpē — Llama 3.3 70B, Qwen2.5 32B, Mixtral 8x7B — vispārēja mērķa loģika, daudzvalodīgā brīvība un instrukciju izpildes kvalitāte būtiski uzlabojas. Šie modeļi var apstrādāt sarežģītus analītiskos uzdevumus, garākus kontekstus un subtilāku ģenerēšanu. Tie prasa profesionāla līmeņa GPU, bet paliek sasniedzami viena servera izvietošanai. Virs 70 miljardiem, modeļi kā Llama 3.1 405B nodrošina robežu kvalitāti, bet prasa daudzas GPU konfigurācijas un rūpīgu infrastruktūras plānošanu; tos vislabāk rezervēt lietošanas gadījumiem, kur kvalitāte ir primārais ierobežojums un budžets nav.

• 7–8 milj. modeļi: vislabāk fokusētiem, augsta caurlaidspējas uzdevumiem — klasifikācijai, ekstrakcija, RAG virs strukturētiem datiem. Viens GPU, zemākās izmaksas.
• 32–70 milj. modeļi: spēcīga vispārēja loģika, daudzvalodīgs atbalsts, garāki konteksti. Viens augstas klases GPU vai mazs daudzGPU mezgls.
• 405 milj.+ modeļi: robežu kvalitāte vispieprasītākajiem uzdevumiem. Nepieciešami vairāki GPU; rūpīgi plānojiet infrastruktūru.
• Ekspertu maisījuma (MoE) arhitektūras (piemēram, Mixtral) var nodrošināt 70 milj. klases kvalitāti aptuveni 13 milj. aktīvo parametru izmaksās — vērts izvērtēt, ja caurlaidspēja ir svarīga.

Modeļu saskaņošana ar GPU: VRAM ir saistošais ierobežojums

GPU VRAM ir primārais ierobežojums, kas nosaka, kurus modeļus varat darbināt un ar kādu ātrumu. Modelim jāietilpst VRAM secinājumiem — ar papildu telpu KV kešatmiņai, kas aug ar konteksta garumu un partijas lielumu. Aptuvenas vadlīnijas: 7–8 miljardu modelim 16 bitu precizitātē nepieciešami aptuveni 14–16 GB VRAM; 32 miljardu modelim nepieciešami aptuveni 64 GB; 70 miljardu modelim nepieciešami aptuveni 140 GB. Tāpēc viena 24 GB GPU (piemēram, NVIDIA RTX 3090 vai 4090) ir dabiskā māja 7–8 miljardu modeļiem, 48 GB karte (RTX 6000 Ada) vai 80 GB A100/H100 aptver 32–70 miljardu diapazonu uz vienas kartes, un jebkam lielākam ir nepieciešamas daudzGPU konfigurācijas ar NVLink vai InfiniBand savienojumiem.

Kvantizācija: sasniegt ārpus VRAM budžeta

Kvantizācija samazina modeļa svara precizitāti — no 16 bitu peldošā komata uz 8 bitu veseliem skaitļiem (INT8) vai 4 bitiem (GPTQ, AWQ, GGUF Q4) — dramatiski samazinot VRAM prasības. 70 miljardu modelis, kas kvantizēts uz 4 bitiem, var ietilpināties aptuveni 35–40 GB VRAM, padarot to pieejamu uz divpusēja 24 GB GPU uzstādījuma. Kvalitātes kompromiss ir atkarīgs no kvantizācijas metodes un uzdevuma: lielākajai daļai ražošanas lietošanas gadījumu INT8 ir gandrīz bez zudumiem, un labi realizēta 4 bitu kvantizācija saglabā lielāko daļu modeļa kvalitātes uzdevumiem, kas nav ļoti jutīgi pret niansētajām loģikas kļūdām. Kvantizācija nav risinājums — tā ir pirmās klases izvietošanas stratēģija, ko Privonis regulāri izmanto, lai maksimizētu iespējas par katru aparatūras budžeta eiro.

Pareizais jautājums nav "kurš modelis ir labākais?" bet "kurš modelis ir pietiekams šim uzdevumam ar aparatūras budžetu, kas mums ir?" Kvantizācija samazina plaisu starp abām atbildēm vairāk, nekā vairums komandu sagaida.

Etalontestu veikšana pirms pirkuma: novērtēšana pirmā pieeja

Neviens etalontests neaizstāj modeļa novērtēšanu uz jūsu faktiskajiem datiem un uzdevumiem. Pirms apņemties pie aparatūras, Privonis iesaka veikt strukturētu novērtēšanu: definējiet reprezentatīvu ievadņu kopu no jūsu ražošanas lietošanas gadījuma, izveidojiet kvalitātes kritērijus (precizitāte, formāta ievērošana, latentums pie jūsu mērķa partijas lieluma) un pārbaudiet divus vai trīs kandidātu modeļus uz nomātām mākoņa GPU instancēm. Tas izmaksā dažus simtus eiro un parasti aizņem vienu vai divas dienas. Rezultāts ir uz pierādījumiem balstīta aparatūras specifikācija, nevis minējums — un bieži atklāj, ka mazāks, ātrāks modelis atbilst jūsu vajadzībām, ietaupot ievērojamus kapitāla izdevumus.

• Definējiet novērtēšanas ievadnes no reāliem ražošanas datiem pirms modeļa izvēles.
• Vispirms pārbaudiet uz nomātu GPU jaudu — mākoņa instances novērtēšanai, lokāla izvietošana ražošanai.
• Mēriet to, kas ir svarīgi: uzdevuma precizitāti, p95 latentumu, žetonus sekundē pie gaidītā partijas lieluma.
• Apsveriet mazāka modeļa precizēšanu pirms pāriešanas uz lielāku — precizēts 7 milj. bieži pārspēj vispārīgu 70 milj. šauros uzdevumos.
• Plānojiet KV kešatmiņu: garāki konteksti ātri patērē VRAM; veiciet etalontestu pie maksimālā paredzamā konteksta garuma.

Kā Privonis vada izvēles procesu

Pareizā modeļa un aparatūras kombinācijas izvēle ir viens no augstākā svira lēmumiem privātā AI izvietošanā. Labi saskaņota stanga nodrošina nepieciešamo kvalitāti par izmaksām, kas padara biznesa gadījumu skaidru; slikti saskaņota vai pārmaksā par dīkstāves aprēķiniem vai nedarbojas uzdevumos, kas ir svarīgi. Privonis nes praktisko pieredzi atvērtā pirmkoda LLM izvēlē, kvantizēšanā, precizēšanā un etalontestēšanā plašā Eiropas uzņēmumu lietošanas gadījumu klāstā. Mēs palīdzam jums izvairīties no dārgā izmēģinājuma un kļūdas cikla un nonākt pie izvietošanas konfigurācijas, kas no sākuma ir pareizi izmērota — un kas paliek uzturama, mainoties modeļiem un jūsu lietošanas gadījumiem.