RAG pipeline, který vám Apple potichu vložil do Macu

Můj Mac se přes noc sám restartoval. Na obrazovce žádné hlášení o pádu, předchozího večera žádné varování — jen čerstvé přihlašovací okno a ten slabý pocit, že se něco stalo, zatímco jsem spal. Tak jsem udělal to, co teď dělám reflexivně, protože přímo na tomhle stroji provozuju malého agenta Claude: zeptal jsem se svého Macu, co ho zabilo.

Odpovědí byla kernel panika typu „watchdog timeout" (vypršení časového limitu hlídacího procesu). Existuje daemon, jehož jediným úkolem je pravidelně říkat jádru „jsem v pořádku, všechno je v pořádku". Na 94 sekund se odmlčel. Jádro předpokládalo to nejhorší a celý stroj natvrdo restartovalo. Naběhl čistě hned napoprvé, takže žádná smyčka pádů, žádný umírající hardware. Ale zdravý notebook se v noci bez důvodu sám neškrtí.

Důvodem byla paměť. Celý den se systém potichu dusil: operační systém zhruba jednou za hodinu, víc než desetkrát, spustil svůj killer při nedostatku paměti a odstřeloval procesy, aby přežil. Z mých 6 GB swapu bylo využito asi 5 GB a volných zbývalo jen kolem 60 MB skutečné RAM. Stroj byl napájený ze sítě a na 100 % baterie, takže o energii tu nikdy nešlo. Byl to 16GB notebook, který se snažil dýchat přes brčko.

Pak přišla část, při které jsem se napřímil. Když jsem se podíval, co vlastně vytěžuje procesor, ty dva nejnáročnější procesy nebyly Chrome, nebyl to Docker, nebyli to moji vlastní agenti. Byly to indexery. Jeden jménem spotlightknowledged spotřebovával asi 17 %, další, corespotlightd, asi 13 %. Hned za nimi seděl celý tichý zásobník procesů, se kterým jsem se nikdy vědomě nesetkal: hybridsearchd, který nad vašimi soubory provozuje klasický klíčový index a sémantickou vektorovou vrstvu; mediaanalysisd a photoanalysisd, které dělají stejný druh extrakce významu z vašich fotek; ANECompilerService, který kompiluje modely strojového učení tak, aby běžely na Apple Neural Engine; a k tomu modelmanagerd, intelligenceflowd a pár dalších příbuzných. Všechny strávily den překračováním svých procesorových rozpočtů. Samotný ANECompilerService zaznamenal osm samostatných překročení.

Tady je poctivý rámec, protože tohle není odhalení nějaké „tajné funkce". Apple stál na pódiu a oznamoval chytřejší vyhledávání v přirozeném jazyce a Apple Intelligence. To je veřejné a je to vážně dobré. Co se nikdy nedostalo na slide, je inženýrská realita pod povrchem — ta část, kterou si přečtete přímo ze seznamu procesů svého stroje: úplný hybridní lexikálně-vektorový index přímo v zařízení nad vašimi soubory, poštou a fotkami, který napájí pipeline modelů strojového učení. Ukázali vám tu funkci. Neukázali vám účet.

A ten účet je na stroji s málo RAM skutečný. Abych byl férový, indexování můj pád samo o sobě nezpůsobilo. Tou nemocí bylo vyhladovění paměti, ke kterému jsem sám přispěl svými vlastními neustále běžícími procesy. Nové indexování bylo přitěžující okolnost, která už tak přesycený stroj přehoupla přes okraj — o to horší, že čerstvý upgrade systému plus nečistý restart spustí kompletní první indexaci všeho, co vlastníte. Než jsem se podíval, zátěž už klesala. Je to z velké části jednorázová cena a beta verze systému tyhle watchdog paniky stejně dělá pravděpodobnějšími.

Ale když poodstoupíte, ten větší obrázek je ta vážně zajímavá věc. Ten druh sémantického vyhledávání obohaceného o vyhledávání (retrieval-augmented), který už dva roky šroubujeme na chatboty, je teď potichu zabudovaný do spotřebitelského notebooku. Z vašeho Macu se nenápadně stal osobní RAG pipeline nad vaším vlastním životem.

Mojí první reakcí nebyla otrávenost, byl to jistý druh závisti vůči vlastnímu notebooku. Na tomhle Macu už provozuju malý neustále běžící zásobník agentů s vlastní vyhledávací vrstvou — a Apple tady potichu stavěl tu samou myšlenku o patro níž: na Apple Neural Engine, bez výletu do cloudu. Tak jsem se vydal hledat to nasnadě ležící vítězství: můžu prostě napojit svoje vlastní agenty na index od Applu? Poctivá odpověď dnes zní ne. Ten osobní index je z důvodu soukromí hermeticky uzavřený; žádná aplikace třetí strany se nedostane k dotazování sémantické mapy vašich souborů, pošty a fotek. Apple vám ale do ruky dává součástky, ze kterých si postavíte vlastní — embeddingy přímo v zařízení, Apple Neural Engine, který je spustí, a od letoška vrstvu modelu běžícího v zařízení, kterou můžete namířit na téměř libovolného poskytovatele. Index je uzavřený. Krabice s nářadím je otevřená.

Takže se na tu věc, co mi restartovala stroj, nezlobím. Je to vážně dobrá technologie a jediná skutečná cena je v tom, že s ní teď musím zacházet jako s každým jiným neustále běžícím nájemníkem na stroji s 16 GB a počítat s ní v rozpočtu. Čemu doopravdy fandím, je další krok: aby Apple nechal vývojáře z tohohle indexu číst, aby se význam, který už z mého vlastního života vytahuje, stal něčím, na čem může můj vlastní systém stavět — místo dvou pipeline, které potichu indexují tytéž soubory bok po boku.

Pokud váš stroj lapá po dechu, nemusíte Spotlight rovnou odstřelovat. Počkejte, až proběhne poupgradová reindexace, vylučte síťové disky a velké složky v Search Privacy (soukromí vyhledávání), vypněte Apple Intelligence a návrhy Siri, ať utišíte ty AI daemony. Skutečným řešením je, jako vždy, uvolnit RAM. Přijít navždy o vyhledávání kvůli vyhnutí se jednorázové ceně by byl špatný obchod.