Izveidojiet privātu zināšanu asistentu ar RAG

Iedomājieties, ka uzdodat jautājumu un saņemat atbildi, kas citē precīzu paragrāfu no jūsu iekšējās politikas, produkta specifikācijas vai pagājušā ceturkšņa audita ziņojuma — viss bez viena baita, kas atstāj jūsu serveru telpu. Tā ir Izgūšanas-Papildinātas Ģenerēšanas (RAG) solījums, un ar Privonis, kas darbojas pilnībā lokāli, tas tagad ir sasniedzams jebkuram Eiropas uzņēmumam, kas nopietni uztver datu suverenitāti.

Kas ir RAG un kāpēc tas ir svarīgi?

Lielie valodas modeļi ir jaudīgi pamatotāji, bet tie zina tikai to, uz ko tie tika apmācīti. RAG to novērš, izgūstot atbilstošas pasāžas no jūsu paša dokumentu krātuves vaicājuma laikā un nododot tās modelim kā kontekstu. Modelis tad atbild, pamatojoties uz šīm pasāžām, citējot avotus, nevis izdomājot faktus. Rezultāts ir zināšanu asistents, kas ir gan precīzs, gan pārbaudāms — divas īpašības, kas ir ārkārtīgi svarīgas regulētās nozarēs.

RAG konveijers soli pa solim

Ražošanas RAG sistēma ietver sešus posmus. Katra izpratne palīdz izvairīties no biežākajiem kļūmes veidiem.

• Ievadīšana: ielādēt dokumentus no PDF, Word failiem, Confluence lapām, SharePoint vai jebkura strukturēta avota, ko izmanto jūsu organizācija.
• Sadalīšana: sadalīt dokumentus segmentos — parasti 200–500 žetonos — kas ir pietiekami mazi, lai ietilptu modeļa konteksta logā, bet pietiekami lieli, lai nesātu nozīmi.
• Iestrādāšana: konvertēt katru fragmentu blīvā vektorā, izmantojot lokālu iestrādāšanas modeli, piemēram, BGE-M3 vai E5-multilingual. Nav nepieciešams mākoņa zvans.
• Vektoru indeksēšana: glabāt iestrādājumus vektoru datubāzē (Qdrant, Chroma, pgvector), kas darbojas jūsu paša infrastruktūrā.
• Izgūšana: vaicājuma laikā iestrādāt lietotāja jautājumu un atrast top-k tuvākos fragmentus pēc kosinusa līdzības, pēc izvēles apvienojot ar BM25 atslēgvārdu meklēšanu (hibrīda izgūšana).
• Ģenerēšana: nosūtīt izgūtos fragmentus kopā ar jautājumu jūsu lokālajam LLM (Llama 3, Mistral, Qwen vai cits atvērtā svara modelis, kas tiek apkalpots caur Ollama vai vLLM) un ražot citētu atbildi.

Privātuma uzturēšana ar Privonis

Katrs šī konveijera posms darbojas jūsu infrastruktūrā, kad jūs izvietojat ar Privonis. Iestrādāšanas modelis, vektoru datubāze, LLM secinājumu serveris un orķestrācijas slānis visi ir paš-hostēti. Jūsu dokumenti nekad neatstāj jūsu tīklu. Tas nav tikai privātuma preferences jautājums — uzņēmumiem, uz kuriem attiecas GDPR, NIS2 direktīva vai nozarei specifiskas finanšu un veselības aprūpes normas, datu glabāšana lokāli bieži vien ir atbilstības prasība, nevis iespēja.

Sadalīšanas un izgūšanas kvalitātes padomi

Jūsu RAG sistēmas kvalitāte dzīvo vai mirst sadalīšanas un izgūšanas posmos. Dažas prakses, kas konsekventi uzlabo rezultātus: izmantojiet semantisko sadalīšanu, nevis fiksētu žetonu skaitu, kur vien iespējams; pārklājiet fragmentus par 10–15%, lai izvairītos no konteksta sagriešanas pie robežām; glabājiet dokumenta metadatus (avots, datums, sadaļas virsraksts) blakus katram fragmentam, lai modelis var precīzi citēt; un eksperimentējiet ar izgūto pasāžu pārklasificēšanu ar krustveida kodētāja modeli pirms to nosūtīšanas ģeneratoram.

Atbilde ir tikai tik laba, cik laba ir izgūšana. Ieguldiet sadalīšanas stratēģijā un hibrīda meklēšanā pirms ieguldāt lielākā modelī.

Jūsu zināšanu asistenta novērtēšana

Novērtēšana bieži tiek izlaista agrīnos RAG projektos un vēlāk nožēlota. Izveidojiet zelta datu kopu ar 50–100 jautājumu-atbilžu pāriem no nozares ekspertiem. Mēriet izgūšanas atcerēšanos (vai pareizais fragments parādījās top-k rezultātos?), atbildes uzticamību (vai atbilde paliek pie tā, ko saka izgūtais teksts?) un atbildes atbilstību (vai tā faktiski adresē jautājumu?). Atvērtā pirmkoda ietvari, piemēram, RAGAS vai DeepEval, var automatizēt lielu daļu šīs punktu skaitīšanas un integrēties CI konveijeros, lai regresijas tiktu noķertas pirms izvietošanas.

Izplatītas kļūmes, no kurām jāizvairās

Biežākās kļūdas, ko mēs redzam, palīdzot uzņēmumiem veidot zināšanu asistentus: zemas kvalitātes vai dublikātu dokumentu iestrādāšana bez to tīrīšanas; pārāk liela fragmenta lieluma izvēle, liekot modelim palaist garām konkrēto teikumu, kas atbild uz jautājumu; daudzvalodīgu dokumentu ignorēšana (BGE-M3 un E5-multilingual labi apstrādā jauktas valodas korpusus); un piekļuves kontroles izlaišana, lai kāds lietotājs vienā nodaļā var izgūt dokumentus, kurus viņam nevajadzētu redzēt. Privonis izvietošanas no kastes ietver uz lomu balstītu kolekciju sadalīšanu, lai risinātu pēdējo punktu. Veidojiet pareizi no sākuma un jūsu privātais zināšanu asistents būs viens no vērtīgākajiem rīkiem, ko jūsu organizācija jebkad ir izvietojusi.