Когда ИИ уверенно ошибается - почему нужна система, а не чутьё

Я уже писал о конкретных случаях, когда ИИ выдавал мне что-то уверенное и неверное: выдуманную ссылку на источник, отчёт, который врал несколько дней. Этот текст о том, что лежит под ними. Уверенность и правильность в этих инструментах - две совершенно независимые ручки, и машина выкручивает первую на максимум независимо от того, где стоит вторая. Внимательностью в моменте это не решается. Настоящий вопрос: что встроить в сам способ работы, чтобы плохой ответ ловился до того, как он вам чего-то стоил?

Коротко

• Уверенность и правильность - независимые ручки. ИИ выкручивает первую на максимум, где бы ни стояла вторая.
• Личная внимательность это не чинит: неверный ответ, который выглядит точь-в-точь как верный, обыгрывает чутьё в любой загруженный день.
• Решение - шаг проверки, встроенный в рабочий процесс, решённый заранее и с конкретным владельцем.

Две ручки, о которых никто не говорит, что они независимы

Мы устроены так, что читаем уверенность как компетентность. С людьми это наполовину разумное упрощение: их уверенность хотя бы немного связана с их знанием.

С ИИ эти провода перерезаны. Инструмент уверен по умолчанию, во всём. Гладкость - константа; точность - переменная. Он звучит одинаково убеждённо, когда попадает в точку и когда сочиняет ответ из воздуха. Инструмент, который ломается явно, приучает ему не верить. Инструмент, который ломается убедительно, получает доверие ровно до момента, когда это вам чего-то стоит.

Неверный и верный ответ выходят из этих инструментов одинаковыми. Та же уверенность, тот же лоск. Эта одинаковость и есть вся проблема.

Почему «быть внимательнее» не работает

Соблазнительный ответ - личный: замедлиться, читать внимательно, доверять чутью. Я сам так считал; это тот совет, который мне пришлось забрать обратно.

Если бы неверный ответ выглядел неверным, дисциплина была бы не нужна. Ваше чутьё на «что-то тут не так» откалибровано на сигналы, которых ИИ не подаёт: ни заминки, ни оговорки. И решения вы принимаете не только в хорошие дни. Вы принимаете их уставшим, в спешке, настроенным увидеть ответ, на который надеялись; самые опасные неверные ответы - те, что совпадают с вашими ожиданиями.

Так что «будь внимательнее» вешает всю защиту на внимание человека ровно в те моменты, когда его меньше всего. Это не план. Это надежда.

Сдвиг: от привычки к системе

Ловить уверенно-неверный вывод - не личный навык. Это шаг, который встраивают в рабочий процесс, как завод ставит пост контроля вместо того, чтобы просить рабочих быть бдительными.

На практике это значит решить один раз, заранее, а не каждый раз, в моменте. Сортируете работу, а не отдельные ответы:

• Низкие ставки, само исправится. Черновики, внутренние заметки. Ошибка дешёвая и позже очевидна. Без проверки, по правилу.
• Идёт в реальное решение или наружу. Цифра в отчёте, утверждение, которое увидит клиент. Сверяется с независимым источником как обязательный шаг процесса. Уверенный тон не получает ни одного исключения.

Записанное правило убирает суждение из момента риска. Проверка срабатывает по категории, а не по чутью.

Экономика:

• Постоянное правило «эта категория проверяется»: почти ноль, платится один раз.
• Проверка реального утверждения: минута-две.
• Уверенно-неверный ответ, дошедший до реального решения: часы, клиент или хуже.

Эта асимметрия и есть весь аргумент: дешёвый, скучный, повторяемый шаг, который не зависит от того, в форме ли кто-то сегодня.

Что это значит, если вы ведёте команду

Этот сбой никогда не выглядит как сбой. Риск никогда не был в том, что ваши люди используют ИИ. Он в том, что они доверяют уверенному выводу без контрольной точки в вещах, которые важны. Вывод выглядит профессионально, поэтому ему верят, поэтому его не проверяют.

Памятка о добросовестности это не чинит: добросовестность - ровно то, что стирается под дедлайном. Проверку закладывают в конструкцию:

• Назовите, где стоят контрольные точки. Какие выводы пересекают черту: к клиенту, в финансовую цифру, на глаза заказчику. Проверка там - политика, а не настроение.
• Дайте ей владельца. «Кто-нибудь должен это проверить» означает, что не проверит никто.
• Сделайте вопрос нормой, а не грубостью. «Откуда мы знаем, что это верно?» должен звучать рутинно, как просьба указать источник. Обжигаются те команды, где оспорить уверенный вывод выглядит как недоверие.

Относитесь к выводу ИИ как к черновику или утверждению, но никогда как к проверенному факту.

Одна мысль на вынос

Разделите две вещи, которые мозг упорно сливает: насколько уверенно ответ звучит и насколько вероятно он верен. У ИИ это независимые вещи. Уверенность - не доказательство. Никогда им не была.

Настоящий риск не в очевидной поломке. Он в гладком, убеждённом ответе, который неверен и приходит в день, когда вам некогда его перепроверять. Так что: когда ИИ в плохой день выдаст вашей команде что-то уверенное и неверное, что в вашем процессе, а не в чьём-то здравом суждении, настроено это поймать?