Dashboard hlásil +158 %. Peníze říkaly minus 2 149 dolarů.

Zhruba měsíc ukazovala statistická stránka tradingového projektu, který provozuji jako vedlejšák, celkový P&L +158,75 %. Tento týden vyplivl noční audit téže databáze úplně jiné číslo: minus 2 148,88 dolaru napříč 140 dokončenými papírovými obchody. Obě čísla byla ve stejnou chvíli technicky vzato pravdivá. A obě jsem si postavil sám.

TL;DR

• Můj vedlejší projekt obchoduje nanečisto: fiktivní zůstatek, reálné tržní ceny. Jeho statistická stránka ukazovala +158,75 %; skutečná peněžní bilance minus 2 148,88 dolaru za 140 dokončených obchodů.
• Titulkové číslo byl součet procent z jednotlivých obchodů. Započítalo 120 obchodů, které se uzavřely, a potichu ignorovalo 397, které se neuzavřely nikdy.
• Otázka, která by to odhalila o měsíce dřív: jak by tohle číslo vypadalo, kdyby projekt selhával?

O co jde

Projekt se popisuje snadno: AI čte zprávy z trhů a převádí je na obchodní nápady, které se provádějí na papírovém účtu. Paper trading znamená, že zůstatek je fiktivní, ale ceny reálné, poctivý způsob, jak strategii otestovat dřív, než riskujete skutečné peníze. Hned na začátku jsem si postavil statistickou stránku, která sčítala procentní pohyby každého signálu, který dosáhl svého cíle, nebo narazil na stop, a vypisovala součet.

Ten součet pořád rostl. Překročil +100 %, pak +150 %, a budu upřímný: bylo příjemné se na něj dívat. Vzorec za ním jsem už znovu nezkoumal. Proč taky? Vždyť jsem ho napsal sám.

Co audit našel

Požádal jsem svého AI asistenta, aby strávil noc procházením projektu s instrukcí být nemilosrdný a poté provedl druhý, nezávislý průchod, který každý součet odvodí znovu od nuly. Oba průchody se shodly na cent přesně. To, na čem se shodly, příjemné nebylo.

Těch +158,75 % byl součet procentních pohybů, jedno číslo na každý uzavřený signál, velikosti pozic nikde. Jenže součet procent není výnos. Když první obchod vydělá 5 % a druhý 5 % ztratí, reálné peníze jsou lehce v minusu, ale součet procent hlásí nulu. Navrstvěte na sebe stovky obchodů a z mezery mezi metrikou a realitou se stane propast.

Horší vadou byl filtr přeživších. Do součtu vstupovaly jen signály, které se uzavřely (dosáhly cíle, nebo narazily na stop); 397 signálů, které prostě vypršely nebo zůstaly viset v limbu, pro něj bylo neviditelných. Při dostatku času a signálů šplhala metrika nahoru bez ohledu na to, co dělal účet. Účet mezitím dělal tohle: z dokončených obchodů trefily take-profit 2 a na stop-lossu skončilo 50.

Nejnebezpečnější metrika je ta, která umí jen růst.

Co mě znepokojilo víc

Peníze byly papírové, takže mě těch 2 149 dolarů nestálo nic. Co mě skutečně znepokojilo, byl health monitoring, protože jsem mu věřil úplně stejně jako statistické stránce. Systém hlásil „healthy" 11 dní po sobě. Za tytéž dva týdny si do logů zapsal 10 723 chybových řádků. Jedna z jeho strategií mlčela zhruba šest týdnů a žádný alert se nespustil, protože proces běžel a „běží" bylo jediné, co health check měřil.

Zelená znamená, že proces běží. Neznamená, že se odvádí práce. To jsou dvě různá tvrzení a můj dashboard vždycky testoval jen to první.

Jak jsem oklamal sám sebe

Pořád se vracím k jednomu postřehu: tuhle metriku mi nikdo neprodal. Žádný dodavatel, žádná prodejní prezentace, žádná motivace přikrášlovat. V prvním týdnu projektu jsem si narychlo napsal číslo, které odpovídalo na otázku „děje se vůbec něco", a to pak doputovalo na úvodní stránku a stalo se odpovědí na „jak to jde", aniž by kdokoli, včetně mě, znovu ověřil, jestli na tu otázku vůbec umí odpovědět. Mám podezření, že přesně takhle se rodí většina vanity dashboardů i ve firmách: ne podvodem, povýšením bez revize.

Nikdo mi nelhal. Sám jsem povýšil ladicí číslo na KPI a přestal číst vzorec.

Existuje jednoduchý test, který od té doby používám. U každého hlavního čísla se zeptejte: co by ukazovalo, kdyby ta věc selhávala? U mého součtu procent zněla poctivá odpověď „zhruba stejný obrázek, jen by rostl o něco pomaleji". Číslo, které neumí ukázat selhání, je dekorace. Pokud by se během selhání netvářilo jinak žádné číslo na vašem dashboardu, nemáte dashboard, máte tapetu.

Co se změnilo

Jakmile audit problémy pojmenoval, oprava zabrala jeden večer. Hlavním číslem je teď dolarová bilance, totéž minus 2 148,88 dolaru, které bolelo zveřejnit i jen sám sobě. Strategie se měří proti základní variantě „nedělej nic" a ty, které statisticky přesvědčivě prodělávaly, jsem pozastavil nebo zrušil. Health check teď ověřuje, že včerejší práce skutečně proběhla, ne že existuje proces.

Co bych ode dne jedna udělal jinak? Jako první bych zapojil číslo o penězích, ještě před jakoukoli odvozenou metrikou, protože je to jediné číslo, které vám neumí lichotit. A každý vzorec bych si znovu přečetl v den, kdy se na jeho výstup začne dívat příjemně. Přesně v tu chvíli totiž člověk přestává kontrolovat.

Na závěr otázka pro vás: které číslo na vašem vlastním dashboardu jste nikdy neviděli klesnout? A ověřili jste si, že klesnout vůbec umí?