Fino nastavljanje odprtih modelov na vaših lastnih podatkih

Veliki jezikovni modeli prihajajo pred-usposobljeni na obsežnih obsegih javnega interneta. Ta širina jih naredi impresivno splošno namenske — a splošno namenski ni enako kot strokovni. Ko vaše podjetje potrebuje model, ki razume vašo interno taksonomijo, piše v vašem domačem slogu ali sklepa o lastniških procesih, se odpirajo tri poti prilagoditve: inženiring pozivov, generiranje z razširjenim pridobivanjem (RAG) in fino nastavljanje. Vsak ima svoje mesto in izbira prave — ali pravilne kombinacije — je lahko razlika med prototipom in produkcijskim sistemom. Privonis pomaga evropskim organizacijam orientirati se pri tej izbiri in jo izvesti v celoti znotraj njihove lastne infrastrukture.

Tri poti do domenskega prilagajanja

Inženiring pozivov ne stane ničesar razen poskusov in napak, a naleti na trdo steno: v okno se ujame le toliko konteksta in model morda preprosto nima domenskega znanja, ki ga potrebujete. RAG zaobide omejitev konteksta z iskanjem ustreznih kosov iz baze znanja ob času poizvedbe in njihovim posredovanjem modelu. Je zmogljiv in presenetljivo poceni, a kakovost pridobivanja omejuje kakovost odgovora — če pravega kosa ni mogoče najti, o njem model ne more sklepati.

Fino nastavljanje ustvari drugačen pristop: posodobi uteži modela na vašem kuriranem naboru podatkov, tako da domensko znanje postane lastno. Rezultat je model, ki odgovarja iz internaliziranega strokovnega znanja namesto pridobljenih odlomkov. Tipično deluje bolje pri nalogah, občutljivih na stil, strukturiranih izhodih in zakasnitev-kritičnih cevovodih, kjer si ne morete privoščiti dodatnega pridobivalnega kroga. Slabost so stroški — tako v GPU-času kot pri pripravi podatkov — zato se ga je vredno lotiti, ko so druge dve metodi dosegle plato.

Kdaj je fino nastavljanje pravi korak

• Vaši izhodi morajo slediti natančnemu formatu (klinične beležke, pravne klavzule, strukturiran JSON), ki ga predloge pozivov ne morejo zanesljivo uveljaviti.
• Model dosledno nima domenskega besedišča, akronimov ali imen izdelkov, ki se nikoli niso pojavili v njegovem predusposabljalnem korpusu.
• Zahteve po zakasnitvi prepovedujejo pridobivalni skok pri vsaki zahtevi.
• Želite stisniti kompleksen, večkratni poziv v vedenje brez poziva za ceno in hitrost.
• Destilirate večji model v manjšega, cenejšega za robno ali on-premise uvajanje.

LoRA in QLoRA: fino nastavljanje brez proračuna podatkovnega centra

Polno fino nastavljanje posodobi vsako utež v modelu, kar je za modele z desetinami milijard parametrov prepovedljivo drago. Prilagoditev nizkim rangom (LoRA) to zaobide z vbrizgavanjem majhnih usposabljajočih matrik v pozornostne plasti ob zamrznitvi originalnih uteži. Število usposabljajočih parametrov pade za faktor 100 ali več, a rezultirajoči model se ujema ali preseže kakovost polnega finega nastavljanja pri večini nalog. QLoRA doda kvantizacijo k mešanici — zamrznjeni osnovni model je naložen v 4-bitni natančnosti, kar dramatično zmanjša zahteve po GPE pomnilniku, tako da se model z 70 milijardami parametrov lahko fino nastavi na eni sami A100.

Z QLoRA lahko ekipa, ki ima eno A100, fino nastavi najsodobnejši odprti model v popoldnevu — brez oblačnega računa, brez podatkov, ki bi zapustili stavbo.

Priprava podatkov: korak za ali brez

Kakovost modela je omejena s kakovostjo podatkov. Pred katerim koli usposabljanjem Privonis sodeluje s strankami pri kuriranju nadzorovanega nabora podatkov vhod-izhod parov, ki predstavljajo točno vedenje, ki ga želijo. Tipični viri vključujejo: pregledane interakcije strank, popravljene izhode modela, s strokovnjaki anotirane dokumente in sintetične podatke, ki jih ustvari močnejši učiteljev model in nato filtrira. Prostornina šteje manj od raznolikosti in pravilnosti — tisoč skrbno pregledanih primerov pogosto preseže deset tisoč hrupnih. Cevovodi za čiščenje podatkov obravnavajo podvajanje, rezanje dolžine in normalizacijo formata pred začetkom usposabljanja.

Evalvacija: vedeti, kdaj ste končali

Fino nastavljanje brez stroge evalvacije je optimizacija v temi. Zadržani evalvacijski nabor — nikoli viden med usposabljanjem — meri, ali se je model posplošil ali le memoriral. Metrike so odvisne od naloge: natančno ujemanje in F1 za naloge ekstrakcije, ROUGE za povzemanje, ocene človeških preferenc za odprto generiranje. Privonis izvaja avtomatizirane evalvacije po vsaki kontrolni točki in označi katastrofalno pozabo — primere, kjer model pridobi domensko spretnost, a izgubi splošno sklepanje — z vključitvijo vzorca standardne referenčne vrednosti v vsak evalvacijski paket.

Uteži so vaše

To je točka, ki se pogosto izgubi v razpravah o API-jih za fino nastavljanje, gostovanih v oblaku: ko fino nastavljate prek storitve tretje osebe, so rezultirajoče uteži morda zaklenjene pri tistem ponudniku. Z Privonisom je osnovni model z odprtimi utežmi, usposabljalno izvajanje poteka na strojni opremi, ki jo nadzorujete, in prilagoditev LoRA ali zlita kontrolna točka je vaša za obdržati, verzionirati in uvajati kjerkoli izberete. To pomeni brez zaklepanja pri ponudniku, brez pristojbine na žeton za model, ki ste ga plačali za usposabljanje, in brez tveganja, da bi ponudnik preusposabljal na vaših podatkih. Za evropska podjetja, ki ravnajo z občutljivimi informacijami, ohranjanje uteži ni dobrodošla lastnost — je zahteva upravljanja.