Почему большинство ИИ-демо врут — и какие пять вопросов задать поставщику вместо этого

Любое ИИ-демо, что вы когда-либо видели, работало безупречно. Задумайтесь, насколько это странно. Дело не в том, что все продукты идеальны. Дело в том, что демо намеренно собирают из случаев, где продукт блистает: чистые входные данные, удобные примеры, тот самый идеальный сценарий с заранее сточенными острыми углами. Демо — это не проверка. Это спектакль. И если вы покупаете по спектаклю, об острых углах вы узнаёте уже после того, как подписан договор.

Я бывал по обе стороны: и строил ИИ-инструменты, и оценивал их. Разрыв между «отлично смотрится в демо» и «работает на нашем реальном бизнесе» — это место, где утекает большая часть денег. Вот пять вопросов, которые этот разрыв закрывают.

Если коротко

• Демо отобрано так, чтобы получаться. Оно показывает потолок и никогда — пол.
• Просите прогнать его на ваших данных, вживую, вместе с грязными случаями.
• Спрашивайте, что инструмент делает, когда ошибается. Уверенная чушь — вот настоящая опасность.
• Спрашивайте, кто отвечает, сколько это стоит на вашем реальном объёме и как вы сможете уйти.
• Если поставщик уходит от этих вопросов — этот уход и есть ваш ответ.

Почему демо не скажет вам того, что нужно знать

Хорошее демо показывает лучшее, на что способен инструмент в идеальных условиях. И это правда полезно: оно говорит вам про потолок. Но работаете вы не на потолке. Вы работаете в каше: неполные данные, странные пограничные случаи, клиент, который сформулировал так, как никто не предвидел.

А знать вам на самом деле нужно про пол. Как инструмент ведёт себя в плохой день, на ваших худших данных, когда он не знает ответа. Демо специально устроено так, чтобы пол спрятать. Поэтому про него приходится спрашивать самому.

Демо показывает вам потолок. Ваш бизнес живёт на полу.

Пять вопросов

Если читаете по диагонали — вот суть:

1. Можем ли мы прогнать его на наших данных, вживую, включая некрасивые случаи?
2. Что происходит, когда он ошибается?
3. Сколько это стоит на нашем реальном объёме, со всем вместе?
4. Кто отвечает, когда он подведёт на глазах у клиента?
5. Как мы уйдём?

1. «Можем ли мы прогнать его на своих данных, прямо сейчас, включая некрасивые случаи?»

Это главный вопрос, всё остальное вторично. Дайте им образец вашей настоящей, неаккуратной работы — не отобранный, просто настоящий — и смотрите, как он отрабатывает вживую. Уверенный поставщик соглашается и засучивает рукава. Нервный объясняет, почему сейчас неподходящий момент, почему нужно «подготовить окружение», почему вашим данным сначала нужен «онбординг». Само колебание — уже информация. Если работает только после того, как они всё подготовили, вы покупаете подготовку, а не продукт.

2. «Что происходит, когда он ошибается?»

Любой ИИ-инструмент иногда ошибается. Это не повод отказываться. Повод отказаться — инструмент, который ошибается уверенно. Он выдаёт гладкий, профессионально выглядящий результат, который неуловимо неверен, и ни единым знаком не показывает, что сам не уверен.

Спросите: помечает ли он низкую уверенность? Понимает ли, когда не знает? Может ли передать дело человеку? Инструмент, который ошибается громко, безопасен. Инструмент, который ошибается тихо, с невозмутимым лицом, потихоньку подточит доверие ваших клиентов раньше, чем вы это заметите.

3. «Сколько это стоит на нашем реальном объёме, со всем вместе?»

Цена в демо и цена в реальной эксплуатации — совсем разные вещи. Просите полную стоимость на ваших числах: ваш объём, ваш характер использования, с учётом внедрения, интеграции, человеческого времени на присмотр. Многие ИИ-инструменты дёшевы за одно обращение и дороги на масштабе. Другие дёшевы в работе, но дорого обходятся, когда их по-настоящему вшиваешь в то, как вы работаете.

Честная цифра редко совпадает с той, что на странице тарифов. Заставьте их посчитать её для вашего случая.

4. «Кто отвечает, когда он подведёт на глазах у клиента?»

Не «если». Когда. Если инструмент обращён к вашим клиентам, рано или поздно что-то из выданного им окажется ошибкой на публике. Спросите напрямую: кто за это отвечает? Где зона ответственности поставщика, а где ваша? Какой путь поддержки, когда всё ломается в самый неподходящий момент?

Расплывчатые, успокаивающие ответы здесь («да это вообще практически не случается») — тревожный сигнал. Вам нужен поставщик, который явно думал про отказ, потому что это значит, что он его видел.

5. «Как мы уйдём?»

Спросите, как забрать свои данные и уйти на другое решение, если это не сработает. Поставщик, уверенный в своём продукте, без проблем расскажет вам про выход. Поставщик, который делает уход болезненным, тем самым сообщает: он рассчитывает удерживать вас трением, а не ценностью.

Вы не грубите. Вы проверяете, что покупаете — инструмент или капкан, и любой поставщик, который принимает это на свой счёт, уже ответил на вопрос.

Что объединяет все пять

Заметьте, что общего у этих вопросов: каждый уводит разговор с отрепетированной сцены поставщика на вашу реальную землю — ваши данные, ваши провалы, ваши числа, ваш выход. В этом весь фокус. Демо — их домашнее поле, собранное, чтобы побеждать. Эти пять вопросов вежливо настаивают играть на вашем. Хороший поставщик это только приветствует, потому что его продукт держится и вне сцены. Слабый сопротивляется, и это сопротивление выдаёт всё, что демо было собрано скрыть.

Что добавить, если запомните только одно

Если вынесете отсюда одну фразу, пусть будет эта: никогда не покупайте по демо. Покупайте по тому, как инструмент справляется с вашими настоящими данными в плохой день. Демо показывает лучший случай. Ваш бизнес работает на среднем случае, а выживает или гибнет на худшем. Покупайте под них.

Частые вопросы

Разве не чересчур требовать живой тест на наших данных? Нет. Это самое разумное, о чём вы можете попросить, и серьёзные поставщики этого ждут. Если живой тест воспринимают как наглость, сама эта реакция — самый полезный вывод за всю оценку.

А если у нас нет чистых данных для проверки? Чистые данные и не нужны. Нужны настоящие. Неаккуратность — это и есть смысл. Именно эту кашу демо от вас и спрятало.

Поставщик говорит, что его ИИ «точен на 99%». Это хорошо? Это пустой звук, пока вы не спросите «на чём?». 99% на лёгких случаях вполне могут означать уровень монетки на трудных — тех, что и важны на самом деле. Точность на отобранной выборке — маркетинговая цифра. Точность на ваших реальных случаях — единственная, которая хоть чего-то стоит.

Мы не технари. Сможем ли мы вообще это оценить? Да. Каждый из этих пяти вопросов — деловой, а не технический. Вам не нужно разбираться в модели. Вам нужно отказаться впечатляться спектаклем.

Демо — инструмент продаж, и в этом нет ничего плохого. Ошибка — принимать его за доказательство. Доказательство — это то, что происходит, когда инструмент встречается с вашей настоящей работой, на ваших условиях, с оставленными острыми углами.

Так что в следующий раз, глядя на безупречное ИИ-демо, задайте себе единственный вопрос, который важен: как это выглядело бы в наш худший день — и почему мне этого не показывают?