Snížil jsem účet za AI o ~75 % bez ztráty kvality. Tady je rozhodnutí, které to dokázalo.

Nejrychlejší cesta, jak za AI utratit zbytečně moc, je nasadit nejvýkonnější a nejdražší variantu na všechno včetně té nudné většiny práce, kterou stejně dobře zvládne i mnohem levnější nástroj. Přesně tohle jsem dělal. Pak jsem měsíční účet za AI srazil zhruba o tři čtvrtiny a hlavně ověřil, že kvalita vydržela. Žádné kouzlo, žádný chytrý trik, jen hrstka nevzhledných rozhodnutí a jeden test, který mě držel v poctivosti. Pokud provozujete AI napříč týmem a faktura pořád roste, tohle je ta část, kterou stojí za to okopírovat.

Ve zkratce

• Většina nákladů byl prémiový nástroj, který dělal práci, jež prémiový nástroj nepotřebovala. Rozdělil jsem práci na „potřebuje drahou variantu" a „nepotřebuje" a tu hranici změřil.
• Levnější varianta na rutinní většinu, prémiová vyhrazená pro těžké případy. Účet klesl o ~75 %; kvalita, ověřená na reálných datech, zůstala na svém.
• Riziko není v tom snižovat náklady. Je v tom snižovat je bez měření. Tak kvalita potichu uteče.

Kam ty peníze ve skutečnosti šly

Když jsem se na to podíval, byl ten obrázek skoro trapný. Drtivá většina mého využití AI byla jednoduchá, opakovaná práce s nízkým rizikem, ta, u které odpověď málokdy skrývá nějakou jemnost. Všechno běželo přes tu nejschopnější a nejdražší variantu, špičkový model jako Claude Opus nebo GPT-4o, protože tak jsem to nastavil hned první den a nikdy se k tomu nevrátil. To je nejběžnější plýtvání za AI, jaké existuje, a skrývá se přímo na očích, protože ten nástroj funguje. Jen je to kanón na vrabce.

Rozhodnutí, které odvedlo práci

Práci jsem roztřídil do dvou košů:

• Rutinní většina. Velký objem, nízké riziko, málokdy nejednoznačné. Levná varianta je tady opravdu dost dobrá.
• Těžké případy. Menší objem, vyšší riziko, kde se chyba prodraží a odpověď bývá jemná. Za prémiovou variantu stojí.

Pak jsem rutinní většinu (drtivý díl) přesunul na mnohem levnější variantu, menší a lehčí model jako Claude Haiku nebo GPT-4o mini, a tu prémiovou nechal jen na těžké případy. To je celý ten tah. Účet spadl zhruba o tři čtvrtiny, protože drahý nástroj přešel od řešení všeho k řešení té malé výseče, která ho skutečně ospravedlnila. Ten pokles je tak strmý kvůli cenové mezeře mezi úrovněmi: špičkový model může stát za jednotku práce víc než desetinásobek lehčího.

Krok, který to udržel poctivé

Tady je ta část, kterou většina škrtání nákladů přeskočí, a přitom je to ta podstatná. Snižovat náklady je snadné. Snižovat je bez tichého poklesu kvality je teprve to umění a od oka to neodhadnete. Levnější varianta často vypadá v pohodě na zjevných případech a sype se na těch těžkých, což je přesně to selhání, kterého si nevšimnete, dokud si ho nevšimne zákazník nebo kolega.

Než jsem to tedy zařízl napevno, otestoval jsem levnější variantu na výseči reálné, neučesané práce a porovnal ji s tím, co jsem měl. Na rutinní většině obstála. Na těžkých případech ne, a právě proto ty zůstaly na prémiovém nástroji. To rozdělení nebyl odhad; nakreslil jsem ho tam, kam ukázalo měření. (Jestli chcete dlouhou verzi toho, proč vám vlastní testovací sada v tomhle lže, to je samostatný příběh.)

Jednoduchý způsob, jak najít vlastní úspory

Nemusíte být technik, abyste cokoli z tohohle udělali. Pokryjí to tři otázky:

1. Na co tu drahou variantu používám? Sepište si to. Většina lidí se na to nikdy pořádně nepodívala.
2. Kolik z toho je rutina s nízkým rizikem? To je váš rezervoár úspor, obvykle většina.
3. Obstojí levnější varianta na téhle rutinní práci, otestovaná na reálných datech? Pokud ano, přesuňte ji. Pokud ne, našli jste případ, který prémiovou variantu opravdu potřebuje.

Úspory leží v mezeře mezi „za co platíme" a „co práce ve skutečnosti vyžaduje". U většiny týmů je ta mezera velká a nikdo se do ní nepodíval, protože ta drahá věc fungovala. A funguje dál přesně do chvíle, než zkontrolujete účet.

Úspory nejsou v tom používat AI méně. Jsou v tom přestat nechávat drahou AI dělat levnou práci.

Co bych udělal jinak

Měl jsem se k tomu vrátit mnohem dřív. Nastavil jsem drahý výchozí stav jednou a nechal ho běžet měsíce, jako by byl účet daný. Daný nebyl: bylo to rozhodnutí, které jsem jednou udělal a nikdy znovu nepřezkoumal, a to je ten nejdražší druh rozhodnutí, jaký existuje. Teď beru „který nástroj na kterou práci" jako něco, co se má pravidelně revidovat. Varianty jsou pořád levnější a lepší a výchozí stav, který jste zvolili před rokem, je dnes skoro nikdy ten správný.

Titulek je těch 75 %, ale ponaučení pod ním je nudnější a cennější: většina přeplácení za AI nepramení z toho, že AI používáte příliš, ale z toho, že na práci, která to nikdy nepotřebovala, používáte drahou AI. Přesné číslo závisí na vaší skladbě, ale ten tvar je běžný a většina týmů je nevyváženější, než si myslí.

Takže otázka pro vaši vlastní fakturu: kolik z vašich výdajů za prémiovou AI dělá práci, kterou by levnější varianta zvládla stejně dobře, a kdy jste to naposledy doopravdy otestovali?