Kaip startuoliai tyliai diegia privatų AI

Ilgus metus diegti didelį kalbos modelį reiškė prisiregistruoti prie debesų API, perduoti savo duomenis ir stebėti, kaip išlaidos nenuspėjamai auga su kiekvienu žetonu, kurį sunaudoja jūsų produktas. Šis modelis buvo prasmingas, kai vietinis AI reikalavo specialios ML komandos ir milijonų aparatinės įrangos. Šiandien – ne. Nauja startuolių karta – liekna, į atitiktį orientuota ir išlaidų sąmoninga – tyliai kuria privačią AI infrastruktūrą ir atranda, kad kompromisai iš esmės pasikeitė jų naudai.

Kodėl privatus AI nebėra vien tik įmonės istorija

Pasakojimas apie vietinį AI ilgą laiką buvo dominuojamas bankų ir gynybos rangovų – organizacijų, turinčių tiek biudžetą, tiek reguliavimo spaudimą investicijoms pateisinti. Tačiau ekonomika dramatiškai pasikeitė. Atvirojo kodo LLM pasiekė kokybinį lygiavertiškumą su nuosavybiniais API daugybei užduočių. Vienas GPU serveris gali vykdyti pajėgų 7–13B parametrų modelį fiksuotomis mėnesinėmis išlaidomis, kurios startuolių naudojimo apimtyje dažnai lenkia debesų API per tris–šešis mėnesius. O svarbiausia – Europos startuoliai, veikiantys pagal GDPR, atranda, kad 'mes niekada nesiunčiame duomenų į trečiosios šalies API" yra atitikties pozicija, kurią daug lengviau ginti nei 'mes naudojame JAV debesų tiekėją su Duomenų tvarkymo susitarimu."

Finansų technologijos: kliento duomenų laikymas VPC viduje

Apsvarstykite finansų technologijų startuolį, kuriančią automatizuotą kredito vertinimo asistentą. Jų produktas analizuoja banko operacijų istorijas, darbo užmokesčio įrašus ir mokesčių dokumentus, kad pateiktų paskolų rekomendacijas. Tų duomenų siuntimas į trečiosios šalies LLM API – net ir pagal DPA – kuria realią riziką: reguliavimo pažeidimas, jei API tiekėjas patiria pažeidimą, neaiškumas dėl modelio mokymo naudojant klientų įvestis ir praktinis sunkumas paaiškinti įmonės klientui, kur tiksliai keliauja jų klientų finansiniai duomenys. Šis startuolis vietoj to diegė tiksliai suderinto 13B modelio privačiame serveryje savo VPC viduje. Kliento duomenys niekada neišeina iš aplinkos. Audito žurnalai yra išsamūs ir viduje kontroliuojami. Rezultatas: įmonių klientai, kurie anksčiau sustabdė pirkimo patvirtinimą, dabar uždaro sandorius per kelias savaites, nes duomenų srautas yra pakankamai paprastas, kad būtų galima paaiškinti CISO vienoje diagramoje.

Sveikatos technologijos: GDPR atitinkanti klinikinių pastabų pagalba

Sveikatos technologijų startuolis, teikiantis AI padedamą dokumentaciją medicinos klinikoms, susiduria su griežtesniu apribojimu: pagal GDPR sveikatos duomenys yra ypatinga kategorija, o bausmės už netinkamą jų tvarkymą yra griežtos. Jų produktui reikėjo apibendrinti klinikinius užrašus, pažymėti trūkstamus laukus ir siūlyti diagnostikos kodus – visos užduotys gerai atliktinos šiuolaikiniame atvirojo kodo LLM. Tačiau joks debesų API nebuvo priimtinas; bet kokie išoriniam modeliui perduodami duomenys rizikuotų suaktyvinti 9 straipsnio įsipareigojimus, dėl kurių produktas taptų neparduodamas. Sprendimas buvo vietinis diegimas kiekvienoje klinikos vietoje, veikiant modeliui lokaliai viename GPU darbo stotyje. Joks duomuo nekerta klinikos tinklo ribos. Startuolio inžinierių komanda nuotoliniu būdu valdo modelio atnaujinimus per šifruotą valdymo kanalą, tačiau išvados visada yra vietinės. Klinikos, kurios atmetė AI priemones kaip teisiškai neįmanomas, tapo ankstyvaisiais naudotojais.

Modelio vykdymas klinikos tinklo viduje buvo vienintelė galimybė, kurią mūsų teisės komanda patvirtino – o kai tai turėjome, pirkimas tapo paprastas. Privatus AI nebuvo techninis pasirinkimas; tai buvo verslo galimybių plėtiklis.

Teisės technologijos: RAG virš sutarčių privačiame GPU serveryje

Teisės technologijų startuolis, kuriantis sutarčių peržiūros priemonę, susidūrė su skirtinga tos pačios problemos versija. Advokatų kontoros ir jų klientai tikisi absoliutaus konfidencialumo. Sutarčių projektų siuntimas – kuriuose gali būti neskelbtos M&A detalės, asmens duomenys ar verslo paslaptys – į bet kokį išorinį API yra nepriimtinas. Šis startuolis sukūrė paieška papildytos generacijos (RAG) konvejerį, veikiantį specialiame GPU serveryje, sukolokatytame tame pačiame duomenų centre kaip ir klientų dokumentų valdymo sistemos. LLM niekada neatsiduria internete; jis gauna tik atitinkamas sutarties ištraukas, gautas iš vektorių paieškos sluoksnio, jas apdoroja ir grąžina struktūrizuotą analizę. Delsa yra maža, nes viskas veikia tame pačiame vietiniame tinkle. Išmoka buvo nedelsiant: startuolis galėjo patikimai pasakyti advokatų kontorams, kad modelis niekada 'nemato" jokio dokumento, kuris nebuvo aiškiai pateiktas peržiūros priemonei, ir kad jokia užklausų istorija nesaugoma.

Startuolio pranašumas: kodėl mažesnės įmonės gauna naudos daugiau, o ne mažiau

Lengva manyti, kad privati AI infrastruktūra startuoliams yra sunkesnė nei didelėms įmonėms. Praktiškai dažnai būna priešingai. Startuolis gali teisingai suprojektuoti savo duomenų srautus nuo pirmosios dienos, o ne atrišinėti metų metus sukauptų debesų priklausomybių. Startuolis su vienu sutelktu produktu gali tiksliai pritaikyti aparatinę įrangą pagal to produkto poreikius, o ne pirkti dėl daugelio naudojimo atvejų aibės. O startuolis, parduodantis į reguliuojamus sektorius, gali naudoti privatų AI kaip tikrą konkurencinį pranašumą – griovį, kurio didesnis konkurentas, pririštas prie debesų API architektūros, negali lengvai atkartoti.

• Nuspėjamos išlaidos didesniu mastu: fiksuotos GPU serverio išlaidos neauga kartu su užklausų apimtimi, pašalinant šoką dėl žetonų sąskaitų, kai produktas gauna daugiau vartotojų.
• Duomenų privatumas nuo pirmosios dienos: jokie atgaliniai atitikties darbai, kai įmonių klientai klausia, kur jų duomenys eina.
• Jokio priklausomybės nuo tiekėjo: atvirojo kodo modelius galima keisti, tikslinti ar atnaujinti neperderindant API sutarčių.
• Greitesnė iteracija: modelio elgesys gali būti koreguojamas vietoje nelaukiant API tiekėjo pakeitimų ar sprendžiant nusidėvėjimo ciklus.
• Stipresnė pardavimų pozicija: 'jūsų duomenys niekada nepalieka jūsų aplinkos" užbaigia įmonių ir viešojo sektoriaus sandorius, kurių debesų API konkurentas negali laimėti.

Ką Privonis daro startuoliams

Privonis padeda Europos startuoliams diegti privačius vietinius LLM neturint didelės vidinės ML komandos. Mes tvarkome modelio parinkimą, aparatinės įrangos dydžio parinkimą, diegimą ir nuolatinę priežiūrą – kad jūsų inžinieriai galėtų sutelkti dėmesį į jūsų produktą, o ne į infrastruktūros operacijas. Ar jums reikia vienos GPU darbo stoties konkrečiai užduočiai, ar kelių mazgų klasterio didelio pralaidumo išvadoms, mes projektuojame ir valdome steką, kuris laiko jūsų duomenis suvereninius ir išlaidas nuspėjamas. Startuoliai, judantys greičiausiai reguliuojamuose rinkuose, yra tie, kurie traktuoja AI infrastruktūrą kaip strateginį turtą, o ne kaip paslaugų API prenumeratą. Jei jūs kuriate tokią įmonę, turėtume pasikalbėti.