Nuo AI bandomojo projekto iki gamybos sustojimo

AI bandomųjų projektų kapinės pilnos įspūdingų demonstracijų. Komanda praleidžia šešias savaites kurdama prototipą, suinteresuotieji ploja pristatymui – ir tada – nieko. Projektas įeina į eilę už integravimo darbų, duomenų valdymo peržiūrų ir pirkimų ciklų ir tyliai pasibaigia. Pramonės analitikai vertina, kad nuo 60 % iki 85 % AI bandomųjų projektų niekada nepasiekia gamybos. Atotrūkis tarp 'tai veikia demonstracijoje" ir 'tai kasdien veikia realiems vartotojams" yra ten, kur prarandama dauguma įmonių AI vertės. Šiame straipsnyje paaiškinama, kodėl bandomieji projektai sustoja, ir pateikiamas pakartotinai naudojamas žaidimų knyga šiam atotrūkiui peržengti.

Kodėl bandomieji projektai sustoja

Bandomieji projektai nepasiekia gamybos dėl nuoseklaus priežasčių rinkinio. Naudojimo atvejis yra per platus, todėl sėkmę neįmanoma apibrėžti. Gamybai reikalingi duomenys yra sudrumstesni nei demonstracijoje naudotas kuruotas pavyzdys. Integracijos paviršius – ERP, CRM, dokumentų valdymas – niekada rimtai nebuvo apibrėžtas. Atsakomybė yra sklidi: duomenų mokslo komanda sukūrė, bet IT turi vykdyti, o teisė turi patvirtinti. O verslo rėmėjas, kuris gynė bandomąjį projektą, persikėlė prie kito blizgančio dalyko. Kiekvienos iš šių nesėkmių priežasčių sprendimas yra vienodas: traktuokite bandomąjį projektą kaip pirmą gamybos projekto sprintą, o ne kaip atskirą eksperimentą.

Pasirinkite vieną didelės vertės, gerai apibrėžtą naudojimo atvejį

Svarbiausias bet kokios AI iniciatyvos sprendimas yra pasirinkti, ką pirmą kurti. Naudojimo atvejis yra 'gerai apibrėžtas", kai galite jį aprašyti vienu sakiniu, įvardyti vartotojus, kuriems bus naudinga, nustatyti jo reikalingus duomenis ir apibrėžti, kaip atrodo sėkmė. 'Pagerinti vidinį žinių valdymą" nepraeiną visų keturių testų. 'Atsakyti į darbuotojų klausimus apie HR politiką per penkias sekundes su 95 % tikslumu, matuojamu savaitiniais atrankos patikrinimais" praeiną visus keturis. Privonis rekomenduoja pradėti nuo naudojimo atvejo, kuris yra (a) pakankamai skausmingas, kad vartotojai iš tikrųjų jį naudotų, (b) pakankamai siauras, kad veikianti versija galėtų būti išsiųsta per aštuonias savaites, ir (c) duomenų atžvilgiu pakankamai išbaigtas, kad nereiktų šešių mėnesių duomenų inžinerijos projekto prieš pradedant.

Apibrėžkite sėkmės metrikas prieš rašydami kodo eilutę

Bandomasis projektas be sutartų sėkmės metrikų negali būti paskelbtas sėkmingu – ar nesėkmingu – ir todėl negali pereiti į gamybą. Prieš bet kokį kūrimą verslo rėmėjas ir techninė komanda turi bendrai atsakyti: kaip atrodo 'geras" rezultatas ir kaip jį matuosime? AI asistentui, atsakančiam į darbuotojų užklausas, metrikos gali apimti sprendimo rodiklį (užklausos, atsakytos be eskalavimo), atsakymo laiką ir vartotojo pasitenkinimo balą. Dokumentų išskyrimo konvejerijui tikslumas pagal aukso standartą ir apdorojimo pralaidumas yra tipiniai tikslai. Užrašykite metrikas, nustatykite skaitinį kiekvieno slenkstį ir iš anksto susitarkite, kad pasiekus tuos slenksčius galima tęsti gamybą.

Bandomasis projektas be gamybos sprendimo kriterijaus yra tik mokslinių tyrimų projektas su vizitine kortele.

Anksti spręskite duomenų ir integravimo klausimus

Duomenys ir integracija yra ten, kur AI projektai praleidžia daugiausia neplanuoto laiko. Demonstracija veikė su išvalyta, statine eksportuota versija; gamyba turi veikti su gyvais, netvarkaingais, nuolat atnaujinamais duomenimis. Pirmą savaitę, o ne aštuntą, nustatykite gamybos duomenų šaltinius. Supraskite atnaujinimo dažnumą, prieigos kontrolę ir formato kintamumą. Panašiai, sudarykite integracijos paviršiaus žemėlapį: kokias sistemas AI turi skaityti ar rašyti? Kas valdo tuos API? Kokie yra keitimų valdymo ir saugumo peržiūros procesai? Vietinių AI diegimų atveju Privonis pirminiame susitarime apima duomenų parengties vertinimą būtent todėl, kad vėlai aptiktos integracijos kliūtys yra dažniausia sustojusių bandomųjų projektų priežastis.

• Sudarykite gamybos duomenų šaltinių ir prieigos kontrolės žemėlapį pirmą bandomojo projekto savaitę.
• Nustatykite visus integracijos kontaktų taškus (ERP, CRM, DMS) ir jų API savininkus.
• Atlikite duomenų kokybės auditą reprezentatyviame gamybos pavyzdyje, o ne kuruotame demonstracijos rinkinyje.
• Iš anksto patvirtinkite saugumo peržiūros ir duomenų valdymo patvirtinimo grafikus.
• Nuo pirmos dienos projektuokite gamybos duomenų konvejerį, net jei bandomajame projekte naudojate supaprastintą versiją.

Pokyčių valdymas nėra neprivalomas

Technologijos retai yra kliūtis AI pritaikyme. Žmonės yra. Darbuotojai, kurie naudos sistemą, turi suprasti, ką ji daro, pasitikėti, kad ji yra patikima, ir jaustis, kad jų atsiliepimai bus išgirsti. Įtraukite galutinius vartotojus į bandomąjį projektą nuo pirmosios savaitės – ne kaip pasyvius demonstracijos gavėjus, bet kaip aktyvius bandytojus, registruojančius nesėkmes ir siūlančius patobulinimus. Kiekvienoje komandoje paskirkite 'čempioną", kuris gauna ankstyvą prieigą ir tampa vidiniu advokatu. Planuokite komunikacijos dažnumą, nustatantį realistinius lūkesčius: AI asistentai klysta; tikslas yra padaryti juos naudingus nepaisant netobulumų ir nuolat juos tobulinti.

Nuo vienos komandos iki organizacijos: realus pavyzdys

Vidutinio dydžio Europos logistikos įmonė vykdė Privonis padedamą vietinės AI asistento bandomąjį projektą savo muitinės dokumentacijos komandai – dvylika žmonių, kurie vidutiniškai praleidžia keturias valandas per dieną išskirdami ir patvirtindami duomenis iš gabenimo dokumentų. Bandomasis projektas truko šešias savaites viename GPU serveryje, naudojo vietiškai patalpintą Llama 3 70B modelį su RAG per įmonės tarifų ir atitikties žinių bazę ir buvo matuojamas pagal vieną metriką: procentas dokumentų, apdorotų be žmogaus taisymo. Bandomasis projektas pasiekė 83 % – virš sutarto 80 % slenksčio. Svarbiausia, duomenų konvejeris, integracija su jų dokumentų valdymo sistema ir saugumo peržiūra buvo baigti bandomojo projekto metu. Gamybos diegimas reikalavo tik trijų papildomų savaičių. Per keturis mėnesius sistema buvo išplėsta į du papildomus padalinius, per dieną apdorojant daugiau nei 2 000 dokumentų visiškai vietoje, neišeinant jokiems duomenims iš įmonės infrastruktūros.

Gamybos kontrolinis sąrašas

• Naudojimo atvejis apibrėžtas vienu sakiniu, su įvardytais vartotojais ir aiškia sėkmės metrika.
• Sėkmės slenksčiai sutarti raštu prieš pradedant kūrimą.
• Gamybos duomenų šaltiniai nustatyti ir prieiga patvirtinta pirmą savaitę.
• Integracijos kontaktų taškai sudaromi ir savininkai įtraukiami.
• Saugumo ir duomenų valdymo peržiūra suplanuota, o ne atidėta.
• Galutiniai vartotojai įtraukiami kaip aktyvūs bandytojai nuo pirmosios savaitės.
• Kiekviename paveiktame padalinyje paskirtas komandos čempionas.
• Operacinė atsakomybė (kas stebi ir prižiūri sistemą) priskirta prieš paleidimą.

Perėjimas nuo bandomojo projekto prie gamybos nėra technologinė problema – tai projektų valdymo ir organizacinė problema, susijusi su technologijomis. Komandos, kurios patikimai išsiunčia AI, yra tos, kurios planuoja gamybą nuo pirmos dienos, anksti įtraukia galutinius vartotojus ir traktuoja duomenis bei integraciją kaip pirmaeilio svarbos klausimus, o ne kaip vėlesnes mintis. Privonis egzistuoja, kad padėtų Europos įmonėms įveikti šią kelionę: nuo gerai apibrėžto bandomojo projekto iki veikiančios, suverenios, vietinės AI sistemos, kasdien teikiančios matuojamą vertę.