Ibni assistent privat tal-għarfien b'RAG

Immaġina li tistaqsi mistoqsija u tirċievi tweġiba li ċċita l-paragrafu eżatt mill-politika interna tiegħek, mill-ispeċifikazzoni tal-prodott tiegħek, jew mir-rapport tal-awditu tal-kwart li għadda — kollha mingħajr byte wieħed jitlaq mill-kamra tas-server tiegħek. Din hija l-wegħda ta' Retrieval-Augmented Generation (RAG), u b'Privonis li jaħdem kompletament on-premise, huwa issa fi ħdan il-kapaċità ta' kwalunkwe kumpanija Ewropea li tieħu s-sovranità tad-data b'serjetà.

X'inhu RAG u għaliex huwa importanti?

Il-mudelli ta' lingwa kbira huma raġunaturi qawwija, iżda huma biss jafu dak li ġew imħarrġa fuqu. RAG jissewwa dan billi jirkupra passaġġi rilevanti mill-maħżen tad-dokumenti proprju tiegħek fil-ħin tal-mistoqsija u jgħaddhom lill-mudell bħala kuntest. Il-mudell imbagħad iwieġeb imwaħħal f'dawk il-passaġġi, jiċċita sorsi aktar milli jifbrika fatti. Ir-riżultat huwa assistent tal-għarfien li huwa kemm preċiż kif ukoll awditabbli — żewġ proprjetajiet li huma enormement importanti f'industriji regolati.

Il-pipeline RAG pass wara pass

Sistema RAG ta' produzzjoni tinvolvi sitt stadji. L-ftehim ta' kull wieħed jgħinuk tevita l-modalitajiet ta' falliment l-aktar komuni.

• Inġest: illowdja dokumenti minn PDFs, fajls Word, paġni ta' Confluence, SharePoint, jew kwalunkwe sors strutturata li tuża l-organizzazzjoni tiegħek.
• Taqsim: aqsam id-dokumenti fi segmenti — tipikament 200–500 tokens — li huma żgħar biżżejjed biex jidħlu fit-tieqa tal-kuntest tal-mudell iżda kbar biżżejjed biex iġorru sens.
• Inkorporar: ikkonverti kull biċċa f'vetturu densa billi tuża mudell ta' inkorporar lokali bħal BGE-M3 jew E5-multilingual. L-ebda sejħa fis-sħaba ma hija meħtieġa.
• Indiċi tal-vettori: aħżen l-inkorporamenti f'bażi tad-data tal-vettori (Qdrant, Chroma, pgvector) li taħdem fuq l-infrastruttura proprja tiegħek.
• Irkupru: fil-ħin tal-mistoqsija, inkorporar il-mistoqsija tal-utent u sib l-aqwa k biċċiet eqreb skont is-similarità cosine, minn jista' jkun flimkien ma' tiftixiera BM25 bil-kelma sħiħa (irkupru ibridu).
• Ġenerazzoni: għaddi l-biċċiet irkuprati flimkien mal-mistoqsija lill-LLM on-premise tiegħek (Llama 3, Mistral, Qwen jew mudell ieħor open-weight servut permezz ta' Ollama jew vLLM) u tipproduċi tweġiba ċċitata.

Żżommu privat b'Privonis

Kull pass ta' dan il-pipeline jaħdem ġewwa l-infrastruttura tiegħek meta tiddeploja b'Privonis. Il-mudell tal-inkorporar, il-bażi tad-data tal-vettori, is-server tal-inferenza tal-LLM u s-saff tal-orkestrazzoni huma kollha self-hosted. Id-dokumenti tiegħek qatt ma jitilqu min-netwerk tiegħek. Dan mhuwiex biss preferenza ta' privatezza — għall-kumpaniji soġġetti għall-GDPR, id-direttiva NIS2, jew regoli speċifiċi għas-settur fil-finanzi u s-saħħa, iż-żamma tad-data on-premise hija ħafna drabi rekwiżit ta' konformità, mhux opzjoni.

Pariri dwar il-kwalità tat-taqsim u l-irkupru

Il-kwalità tas-sistema RAG tiegħek tgħix jew tmut fl-istadji tat-taqsim u l-irkupru. Ftit prattiċi li konsistentement itejbu r-riżultati: uża t-taqsim semantiku aktar milli għadd fiss ta' tokens fejn possibbli; sovrapponni biċċiet b'10–15% biex tevita li taqta' l-kuntest fil-konfini; aħżen metadati tad-dokumenti (sors, data, titolu tas-sezzjoni) maġenb kull biċċa biex il-mudell ikun jista' jiċċita b'preċiżjoni; u speriment b'reranking tal-passaġġi rkuprati b'mudell cross-encoder qabel ma tibgħathom lill-ġeneraturi.

It-tweġiba hija biss daqskemm tajba l-irkupru. Investi fl-istrateġija tat-taqsim u fit-tiftixiera ibridu qabel ma tinvesti f'mudell akbar.

Evalwazzoni tal-assistent tal-għarfien tiegħek

L-evalwazzoni ħafna drabi tiġi preteressa f'proġetti RAG bikrija u mimlija bnadi oħra. Ibni sett tad-deheb ta' 50–100 pari mistoqsija-tweġiba minn esperti fil-qasam. Ikejjel ir-riċħam tal-irkupru (dehret il-biċċa t-tajba fir-riżultati tat-top-k?), il-fedeltà tat-tweġiba (it-tweġiba tibqa' f'dak li jgħid it-test irkuprat?) u r-relevanza tat-tweġiba (tindirizza fil-fatt il-mistoqsija?). Il-qafas open-source bħal RAGAS jew DeepEval jistgħu jawtomatizzaw ħafna minn dan il-punteġġ u jintegraw f'pipeline CI biex ir-regressions jinqabdu qabel id-deployment.

Inqas l-aktar komuni biex tevita

L-iżbalji l-aktar frekwenti li naraw meta ngħinu lill-kumpaniji jibnu assistenti tal-għarfien: inkorporar tad-dokumenti ta' kwalità baxxa jew duplikati mingħajr ma tindafhom l-ewwel; l-għażla ta' daqs tal-biċċa li huwa kbir wisq, u l-mudell jonqos is-sentenza speċifika li twieġeb il-mistoqsija; in-nuqqas ta' kunsiderazzoni tad-dokumenti multilingwi (BGE-M3 u E5-multilingual jittrattaw sew korporora f'lingwi mħallta); u l-preteressa tal-kontrolli tal-aċċess biex utent f'dipartiment wieħed ikun jista' jirkupra dokumenti li m'għandux jaraha. Id-deployments ta' Privonis jinkludu partizzjonament tal-kollezioni bbażat fuq ir-rwoli out of the box biex jitrattaw dak l-aħħar punt. Ibnih sew mill-bidu u l-assistent privat tal-għarfien tiegħek ikun wieħed mill-aktar għodod ta' valur li l-organizzazzjoni tiegħek qatt iddeplojat.