Warum die meisten KI-Demos lügen – und die 5 Fragen, die du dem Anbieter stattdessen stellst

Jede KI-Demo, die du je gesehen hast, lief perfekt. Mach dir kurz klar, wie merkwürdig das ist. Es liegt nicht daran, dass die Produkte alle fehlerfrei wären. Es liegt daran, dass eine Demo ganz bewusst aus genau den Fällen gebaut wird, in denen das Produkt glänzt: saubere Eingaben, gefällige Beispiele, der Idealfall, bei dem alle Ecken und Kanten abgeschliffen sind. Eine Demo ist kein Test. Sie ist eine Vorstellung. Und wer auf Basis der Vorstellung kauft, lernt die Ecken und Kanten erst kennen, wenn der Vertrag unterschrieben ist.

Ich habe beide Seiten erlebt, sowohl beim Bau von KI-Werkzeugen als auch bei deren Bewertung. Die Lücke zwischen „sieht in der Demo großartig aus" und „funktioniert in unserem echten Geschäft" ist genau die Stelle, an der das meiste Geld verbrannt wird. Hier kommen die fünf Fragen, die diese Lücke schließen.

Das Wichtigste in Kürze

• Eine Demo ist auf Erfolg getrimmt. Sie zeigt dir die Obergrenze, nie die Untergrenze.
• Lass sie live auf deinen Daten laufen, samt der unsauberen Fälle.
• Frag, was passiert, wenn sie falsch liegt. Selbstbewusster Unsinn ist die eigentliche Gefahr.
• Frag, wer haftet, was es bei deinem echten Volumen kostet und wie du wieder herauskommst.
• Weicht ein Anbieter diesen Fragen aus, ist genau dieses Ausweichen deine Antwort.

Warum die Demo dir nicht sagen kann, was du wissen musst

Eine gute Demo zeigt dir das Beste, was das Werkzeug unter Idealbedingungen leisten kann. Das ist durchaus nützlich. Sie zeigt dir die Obergrenze. Aber du arbeitest nicht an der Obergrenze. Du arbeitest im Chaos: unvollständige Eingaben, schräge Sonderfälle, der Kunde, der etwas so formuliert, wie es niemand vorhergesehen hat.

Was du wirklich wissen musst, ist die Untergrenze. Wie sich das Werkzeug an einem schlechten Tag verhält, bei deinen schlimmsten Eingaben, wenn es die Antwort nicht kennt. Die Demo ist gezielt darauf gebaut, die Untergrenze zu verbergen. Also musst du danach fragen.

Eine Demo zeigt dir die Obergrenze. Dein Geschäft lebt an der Untergrenze.

Die fünf Fragen

Die Kurzfassung, falls du nur eine Sache überfliegst:

1. Können wir es live auf unseren Daten laufen lassen, samt der hässlichen Fälle?
2. Was passiert, wenn es falsch liegt?
3. Was kostet es bei unserem echten Volumen, alles eingerechnet?
4. Wer haftet, wenn es vor einem Kunden versagt?
5. Wie kommen wir wieder heraus?

1. „Können wir es jetzt sofort auf unseren eigenen Daten laufen lassen, samt der hässlichen Fälle?"

Das ist die große Frage, alles andere ist zweitrangig. Gib ihnen eine Probe deiner echten, unsauberen Arbeit, nicht handverlesen, einfach echt, und sieh zu, wie es live läuft. Ein selbstbewusster Anbieter sagt Ja und krempelt die Ärmel hoch. Ein nervöser erklärt dir, warum es gerade ungünstig ist, warum man erst „eine Umgebung vorbereiten" müsse, warum deine Daten zuerst ein „Onboarding" bräuchten. Das Zögern selbst ist eine Information. Wenn es nur funktioniert, nachdem sie es vorbereitet haben, kaufst du die Vorbereitung, nicht das Produkt.

2. „Was passiert, wenn es falsch liegt?"

Jedes KI-Werkzeug liegt manchmal falsch. Das ist nicht das Ausschlusskriterium. Das Ausschlusskriterium ist ein Werkzeug, das selbstbewusst falsch liegt. Es liefert dir ein flüssiges, professionell wirkendes Ergebnis, das in feinen Nuancen falsch ist, ohne jedes Signal, dass es sich unsicher ist.

Frag: Markiert es geringe Sicherheit? Weiß es, wann es etwas nicht weiß? Kann es an einen Menschen übergeben? Ein Werkzeug, das laut scheitert, ist sicher. Ein Werkzeug, das leise scheitert, mit unbewegter Miene, kostet dich unbemerkt das Vertrauen deiner eigenen Kunden, bevor du es überhaupt merkst.

3. „Was kostet das bei unserem echten Volumen, alles eingerechnet?"

Demo-Preise und Produktionspreise sind zwei Paar Schuhe. Lass dir die Gesamtkosten bei deinen Zahlen geben: dein Volumen, dein Nutzungsmuster, samt Einrichtung, Integration und der Arbeitszeit der Menschen, die es überwachen. Viele KI-Werkzeuge sind pro Nutzung billig und im großen Maßstab teuer. Andere sind günstig im Betrieb und teuer, wenn man sie tatsächlich in die eigene Arbeitsweise einbinden will.

Die ehrliche Zahl steht selten auf der Preisseite. Lass sie dir für deinen Fall ausrechnen.

4. „Wer haftet, wenn es vor einem Kunden schiefgeht?"

Nicht „falls". Wenn. Wenn das Werkzeug deinen Kunden gegenübersteht, wird irgendwann etwas, das es produziert, in aller Öffentlichkeit falsch sein. Frag unverblümt: Wer trägt dafür die Verantwortung? Was ist Sache des Anbieters, was deine? Wie sieht der Support-Weg aus, wenn es im denkbar schlechtesten Moment kaputtgeht?

Vage, beruhigende Antworten an dieser Stelle („ach, das kommt praktisch nie vor") sind ein Warnsignal. Du willst einen Anbieter, der erkennbar über das Scheitern nachgedacht hat, denn das heißt, er hat es schon erlebt.

5. „Wie kommen wir wieder heraus?"

Frag, wie du deine Daten wieder herausbekommst und wechselst, falls es nicht funktioniert. Ein Anbieter, der seinem Produkt vertraut, hat kein Problem damit, dir den Ausgang zu zeigen. Ein Anbieter, der den Absprung schmerzhaft macht, sagt dir damit, dass er dich durch Reibung halten will statt durch Wert.

Du bist nicht unhöflich. Du prüfst, ob du ein Werkzeug kaufst oder eine Falle, und jeder Anbieter, der das persönlich nimmt, hat die Frage damit schon beantwortet.

Das Muster hinter allen fünf

Achte darauf, was diese Fragen gemeinsam haben: Jede einzelne holt das Gespräch von der inszenierten Bühne des Anbieters herunter und auf deinen echten Boden, deine Daten, deine Fehlerfälle, deine Zahlen, deinen Ausstieg. Das ist der ganze Trick. Die Demo ist sein Heimspiel, auf Sieg gebaut. Diese fünf Fragen bestehen höflich darauf, auf deinem Platz zu spielen. Ein guter Anbieter begrüßt das, weil sein Produkt auch abseits der Bühne hält. Ein schwacher sträubt sich, und das Sträuben verrät dir alles, was die Demo verbergen sollte.

Was ich ergänzen würde, wenn du dir nur eine Sache merkst

Wenn du einen einzigen Satz mitnimmst, dann diesen: Kauf nie auf die Demo. Kauf darauf, wie es sich mit deinen echten Daten an einem schlechten Tag schlägt. Die Demo zeigt dir den Bestfall. Dein Geschäft läuft im Durchschnittsfall und überlebt oder stirbt am Schlimmstfall. Kauf für die.

FAQ

Ist es nicht unverschämt, einen Live-Test auf unseren Daten zu verlangen? Nein. Es ist das Vernünftigste, was du verlangen kannst, und seriöse Anbieter rechnen damit. Wenn ein echter Test als Zumutung behandelt wird, ist genau diese Reaktion der nützlichste Datenpunkt der ganzen Bewertung.

Was, wenn wir keine sauberen Daten zum Testen haben? Du brauchst keine sauberen Daten. Du brauchst echte Daten. Das Unsaubere ist der Punkt. Genau dieses Chaos hat die Demo vor dir versteckt.

Der Anbieter sagt, seine KI sei „zu 99 % genau". Ist das gut? Es ist bedeutungslos, bis du fragst: „Worauf bezogen?" 99 % bei leichten Fällen können bei den schweren, auf die es wirklich ankommt, einem Münzwurf entsprechen. Genauigkeit auf einem handverlesenen Satz ist eine Marketingzahl. Genauigkeit bei deinen echten Fällen ist die einzige, die etwas wert ist.

Wir sind nicht technisch. Können wir das trotzdem bewerten? Ja. Jede dieser fünf Fragen ist eine geschäftliche Frage, keine technische. Du musst das Modell nicht verstehen. Du musst dich nur weigern, von einer Vorstellung beeindruckt zu sein.

Eine Demo ist ein Verkaufsinstrument, und daran ist nichts verkehrt. Der Fehler ist, sie als Beweis zu behandeln. Beweis ist das, was passiert, wenn das Werkzeug auf deine echte Arbeit trifft, zu deinen Bedingungen, mit den Ecken und Kanten, die drin gelassen wurden.

Wenn du also das nächste Mal eine makellose KI-Demo siehst, stell dir die einzige Frage, auf die es ankommt: Wie sähe das an unserem schlimmsten Tag aus – und warum wollen sie es mir nicht zeigen?