Demo, ki je navdušil, in torek, ko se je ustavil
Scena, ki jo vidim vedno znova. Nekdo pokaže demo AI agenta. Agent prebere e-pošto stranke, iz nje razbere, kaj stranka želi, preveri zalogo in sestavi naročilo. V sobi vsi prikimavajo. Videti je, kot da je problem rešen.
Potem pride torek, ko isti agent poskusi delati na pravih podatkih podjetja. Stranka v e-pošti napiše šifro, ki v sistemu ne obstaja več. Naročilo je za artikel, ki ga vodita dva dobavitelja. Cena je pogodbena in drugačna od cenika. Agent, ki je v demu deloval brezhibno, se ustavi ali, huje, sestavi napačno naročilo. In takrat se sliši stavek: "AI pri nas ne dela."
Problem skoraj nikoli ni AI. Problem je vse, kar je okoli njega.
Zakaj demo vedno dela
Demo je narejen, da deluje. To ni prevara, to je narava demota. Pokaže en primer, ki je čist: podatki so urejeni, primer je tipičen, posledice napake ni. Agent dobi vhod, ki je natanko tak, kot ga pričakuje, in vrne rezultat, ki izgleda pravilno.
V produkciji ni nobene od teh treh ugodnosti. Primerov ni eden, ampak sto. Podatki niso urejeni, ker jih je desetletje polnilo dvajset ljudi po svoje. In napaka ima posledico: napačno naročilo, jezna stranka, popravek, ki traja dlje kot ročno delo, ki naj bi ga agent nadomestil.
Kot soustanovitelj Kontiqa, AI podjetja, se s tem srečujem tudi na drugem koncu. Model, ki opravi nalogo, je redko ozko grlo. Ozko grlo je kontekst okoli njega: kateri podatki so pravi, kaj se sme zgoditi samodejno in kaj mora potrditi človek.
Kaj produkcija doda, česar demo nima
Med demom in delujočim agentom so štiri stvari, ki jih na predstavitvi nihče ne pokaže, ker niso efektne.
Izjeme
Demo pokaže tipičen primer. Produkcija je sestavljena iz izjem: stranka brez davčne številke, artikel z dvema šiframa, naročilo, ki presega kreditni limit. Agent, ki zna samo tipičen primer, pokrije desetino dela.
Dovoljenja in posledice
Kaj sme agent narediti sam in za kaj mora vprašati? Prebrati zalogo je nedolžno. Poslati naročilo dobavitelju za pet tisoč evrov ni. Brez jasne meje agent ali ne naredi nič uporabnega ali naredi nekaj, česar ne bi smel.
Zanesljivost
Kaj se zgodi, ko sistem, ki ga agent kliče, ne odgovori? Ko ERP ponoči izvaja interne procese in je nedosegljiv? Demo tega vprašanja nima. Produkcija ga ima vsak dan.
Sledljivost
Ko agent nekaj naredi, mora ostati zapis: kaj je naredil, na podlagi katerih podatkov in kdaj. Brez tega prve napake ne moreš raziskati in agentu nihče ne bo zaupal.
Trije razlogi, zakaj piloti umrejo
Ko pilotni projekt agenta obstane, je vzrok skoraj vedno eden od teh treh. Nobeden ni tehnološki.
Podatki niso pripravljeni
Agent je tako dober, kot so podatki, ki jih bere. Če je ista stranka v sistemu trikrat, če artikel nima enotne šifre, če je cenik na petih mestih, agent nima na čem delati. To ni AI problem, to je problem, ki obstaja, še preden se AI pojavi. Podrobneje sem ga opisal v članku kako pripraviti podjetje na AI agente.
Ni eskalacije
Agent bo vedno naletel na primer, ki ga ne zna. Vprašanje ni, ali se to zgodi, ampak kaj se zgodi takrat. Če agent v negotovosti ugiba, izgubi zaupanje po prvi napaki. Če zna reči "tega ne znam, predajam človeku", ostane uporaben. Eskalacija ni dodatek, je pogoj.
Nihče ni lastnik rezultata
Agenta na hitro postavi nekdo iz IT ali zunanji izvajalec, potem pa ni jasno, kdo je odgovoren, da dela prav naprej. Ko se proces spremeni, agent zastari in nihče ga ne popravi. Sistem brez lastnika razpade, agent nič drugače.
Kako izgleda agent, ki zdrži
Primer iz prakse, anonimiziran. Podjetje je hotelo, da agent samodejno odgovarja na povpraševanja po e-pošti: preveri zalogo in ceno ter pripravi odgovor. Prva različica je bila demo, ki je delal na treh lepih primerih.
Da je prišla v produkcijo, sem naredil tri stvari, ki z AI nimajo veze. Uskladil sem šifre artiklov, da je agent sploh vedel, o čem stranka govori. Postavil sem mejo: agent pripravi osnutek odgovora, pošlje pa ga človek, dokler zaupanje ne zraste. In dodal sem dnevnik vsakega koraka. Šele nato je model dobil svoje delo.
Rezultat ni bil agent, ki nadomesti komercialista. Bil je agent, ki komercialistu pripravi osnutek in prihrani večino tipkanja, človek pa obdrži zadnjo besedo. Manj efektno od demota, dosti bolj uporabno. Sorodno temo sem razdelal v članku avtomatsko odgovarjanje na povpraševanja.
Kdaj se agent splača in kdaj še ne
Agent se splača, ko je proces pogost, podatki so urejeni in obstaja jasna meja med tem, kaj sme sam in kaj potrdi človek. Ne splača se, ko je proces redek, ko so podatki v neredu ali ko nihče v podjetju ni pripravljen biti lastnik rezultata.
Pošten test je preprost: če procesa danes ne znaš opisati po korakih človeku, ga tudi agentu ne boš. Najprej uredi proces in podatke, šele nato dodaj AI. Obratni vrstni red je razlog, zakaj toliko pilotov obstane na demu.
Bistvo
Demo AI agenta je enostaven del. Produkcija je vse ostalo: čisti podatki, jasna dovoljenja, eskalacija na človeka in dnevnik dejanj. Model je redko ozko grlo. Agent obstane ali zaživi glede na sisteme in podatke okoli njega, ne glede na to, kako pameten je.