Proč většina AI dem lže — a 5 otázek, které byste měli položit dodavateli místo toho

Každé AI demo, které jste kdy viděli, fungovalo dokonale. Zkuste se zamyslet, jak je to zvláštní. Není to tím, že by ty produkty byly bez chyby. Je to tím, že demo se záměrně staví z případů, kde produkt září: čisté vstupy, vstřícné příklady, ta ideální cesta se zabroušenými hranami. Demo není test. Je to představení. A když nakupujete podle představení, na ostré hrany přijdete až po podpisu smlouvy.

Stál jsem na obou stranách: AI nástroje jsem stavěl i hodnotil. Propast mezi „v demu to vypadá skvěle“ a „funguje to na našem skutečném provozu“ je přesně to místo, kde se utopí většina peněz. Tady je pět otázek, které tu propast zaceluje.

Ve zkratce

• Demo je sestavené tak, aby uspělo. Říká vám strop, nikdy ne podlahu.
• Žádejte, ať to běží na vašich datech, naživo, včetně těch ošklivých případů.
• Ptejte se, co to udělá, když se splete. Sebejistý nesmysl je to skutečné nebezpečí.
• Ptejte se, kdo nese odpovědnost, kolik to stojí při vašem reálném objemu a jak byste odešli.
• Když dodavatel těmto otázkám uhýbá, to uhýbání je vaše odpověď.

Proč vám demo nemůže říct to, co potřebujete vědět

Dobré demo vám ukáže to nejlepší, co nástroj v ideálních podmínkách svede. To je vážně užitečné. Říká vám strop. Jenže vy na stropě nepracujete. Vy fungujete v tom bordelu: neúplné vstupy, podivné okrajové případy, zákazník, který to formuluje způsobem, jaký nikdo nečekal.

Co opravdu potřebujete vědět, je podlaha. Jak se nástroj chová ve špatný den, na vašich nejhorších vstupech, když odpověď nezná. Demo je cíleně postavené tak, aby podlahu schovalo. Takže si o ni musíte říct sami.

Demo vám ukáže strop. Váš provoz žije na podlaze.

Těch pět otázek

Krátká verze, pokud čtete jen jednu věc:

1. Můžeme to spustit na našich datech, naživo, včetně těch ošklivých případů?
2. Co se stane, když se to splete?
3. Kolik to stojí při našem reálném objemu, všechno dohromady?
4. Kdo nese odpovědnost, když to selže před zákazníkem?
5. Jak odejdeme?

1. „Můžeme to spustit na našich vlastních datech, hned teď, včetně těch ošklivých případů?“

Tohle je ta hlavní otázka a všechno ostatní je vedlejší. Předejte jim vzorek své skutečné, neučesané práce, nic vybraného, prostě reálná data, a sledujte, jak to běží naživo. Sebejistý dodavatel řekne ano a vyhrne si rukávy. Nervózní vám vysvětlí, proč zrovna teď není vhodná chvíle, proč potřebují „připravit prostředí“, proč vaše data musí nejdřív projít „onboardingem“. To zaváhání samo o sobě je informace. Pokud to funguje až poté, co si to připravili, kupujete tu přípravu, ne produkt.

2. „Co se stane, když se to splete?“

Každý AI nástroj se občas splete. To není ten problém. Problém je nástroj, který se mýlí sebejistě. Podá vám plynulý, profesionálně vypadající výstup, který je nenápadně špatně, bez jakéhokoli náznaku, že si není jistý.

Ptejte se: Označí nízkou jistotu? Pozná, kdy něco neví? Umí to předat člověku? Nástroj, který selhává nahlas, je bezpečný. Nástroj, který selhává potichu a s kamennou tváří, vás nenápadně připraví o důvěru vašich vlastních zákazníků dřív, než si toho vůbec všimnete.

3. „Kolik to stojí při našem reálném objemu, všechno dohromady?“

Cena v demu a cena v provozu jsou dvě úplně jiná zvířata. Žádejte celkové náklady na vašich číslech: váš objem, váš způsob používání, včetně nasazení, integrace a lidského času na dohled. Spousta AI nástrojů je levná za jedno použití a drahá ve velkém. Jiné jsou levné na provoz a drahé na to, aby se vůbec zapojily do toho, jak pracujete.

Poctivé číslo je málokdy to, co stojí na ceníku. Donuťte je spočítat ho pro váš případ.

4. „Kdo nese odpovědnost, když se to pokazí před zákazníkem?“

Ne „když“. Ale „až“. Pokud ten nástroj mluví s vašimi zákazníky, něco z toho, co vyprodukuje, jednou bude veřejně špatně. Zeptejte se rovnou: kdo to má na triku? Co je odpovědnost dodavatele a co vaše? Jaká je cesta k podpoře, když se to rozbije v tu nejhorší možnou chvíli?

Vágní, uklidňující odpovědi tady („ale jé, to se prakticky nikdy nestává“) jsou varovný signál. Chcete dodavatele, který má selhání evidentně promyšlené, protože to znamená, že ho zažil.

5. „Jak odejdeme?“

Zeptejte se, jak byste dostali svá data ven a přešli jinam, kdyby to nefungovalo. Dodavatel, který si je svým produktem jistý, nemá problém vám východ ukázat. Dodavatel, který vám odchod znepříjemní, vám tím říká, že si vás chce udržet třením, ne hodnotou.

Nejste tím nezdvořilí. Jen si ověřujete, jestli kupujete nástroj, nebo past, a každý dodavatel, který si to bere osobně, vám na otázku právě odpověděl.

Vzorec, který se skrývá pod všemi pěti

Všimněte si, co mají tyhle otázky společného: každá z nich odvádí konverzaci z dodavatelova naaranžovaného pódia na vaši skutečnou půdu, vaše data, vaše selhání, vaše čísla, váš odchod. V tom je celý ten fígl. Demo je jejich domácí hřiště, postavené tak, aby vyhrálo. Těch pět otázek zdvořile trvá na tom, že se bude hrát na vašem. Dobrý dodavatel to uvítá, protože jeho produkt obstojí i mimo pódium. Slabý se brání, a ten odpor vám prozradí všechno, co mělo demo schovat.

Co bych dodal, pokud si máte zapamatovat jednu věc

Pokud si z tohohle odnesete jedinou větu, ať je to tahle: nikdy nekupujte podle dema. Kupujte podle toho, jak si to vede na vašich skutečných datech, ve špatný den. Demo vám ukáže nejlepší případ. Váš provoz běží na průměrném případu a přežije nebo padne na tom nejhorším. Kupujte kvůli těm.

Časté dotazy

Není přehnané požadovat živý test na našich datech? Není. Je to ta nejrozumnější věc, o jakou můžete požádat, a seriózní dodavatelé ji čekají. Pokud se skutečný test bere jako obtěžování, právě tahle reakce je tím nejužitečnějším údajem z celého hodnocení.

Co když nemáme čistá data na otestování? Čistá data nepotřebujete. Potřebujete skutečná. O ten bordel právě jde. Ten bordel je přesně to, co před vámi demo schovalo.

Dodavatel říká, že jeho AI je „z 99 % přesná“. Je to dobré? Dokud se nezeptáte „v čem?“, nic to neznamená. 99 % na snadných případech může znamenat házení mincí na těch těžkých, na kterých opravdu záleží. Přesnost na vybrané sadě je marketingové číslo. Přesnost na vašich skutečných případech je to jediné, co za něco stojí.

Nejsme technicky zdatní. Můžeme to vůbec posoudit? Ano. Každá z těch pěti otázek je byznysová otázka, ne technická. Nemusíte rozumět modelu. Stačí odmítnout nechat se dojmout představením.

Demo je prodejní nástroj a na tom není nic špatného. Chyba je brát ho jako důkaz. Důkaz je to, co se stane, když se nástroj potká s vaší skutečnou prací, za vašich podmínek, s ponechanými ostrými hranami.

Takže až budete příště sledovat bezchybné AI demo, položte si tu jedinou otázku, na které záleží: jak by tohle vypadalo v náš nejhorší den — a proč mi to nechtějí ukázat?