Сноска выглядит безобидно. Несколько фамилий, название журнала, год, номер страницы. На фоне дорогого отчёта это почти пыль. Но именно такая пыль способна попасть в подшипник всей экспертной работы: читатель проверяет ссылку, источника не существует, и теперь приходится заново проверять документ, за который уже заплатили.
В 2025 году с этой проблемой столкнулась Deloitte Australia при подготовке отчёта для австралийского Department of Employment and Workplace Relations, DEWR. В результате компания вернула часть вознаграждения. Здесь есть и подтверждённое применение генеративного ИИ, и признанные ошибки, и денежное последствие. При этом полную стоимость договора нельзя выдавать за размер потери, а дефекты ссылок — за доказательство ложности всех выводов отчёта.
Этот кейс неудобен для любого продавца консалтинга. Известное имя, профессиональная команда и формальные процедуры сами по себе не защищают от брака. Нашему рынку полезно это помнить, прежде чем объяснять каждый провал ИИ исключительно неопытностью чужих исполнителей.
Документ, который проверяли недостаточно
Заказ касался независимой проверки Targeted Compliance Framework — системы, связанной с соблюдением обязанностей получателями социальных выплат. По данным ведомства, работа Deloitte шла с декабря 2024 года по июнь 2025 года и сопоставляла работу системы с операционной политикой, бизнес-правилами и ИТ. На сайте заказчика опубликована исправленная версия итогового отчёта. [1]
В письме от 2 сентября 2025 года, впоследствии раскрытом австралийским Минфином, Deloitte описала использование генеративных инструментов MyAssist и ChatGPT для сокращения уже подготовленного текста и завершения оформления библиографических ссылок. Компания признала, что полученные результаты содержали ошибки; проверка исправила часть, но пропустила другие. В письме также указано, что участники команды проходили обучение ответственному применению ИИ. [2]
Опубликованная парламентом переписка содержит требование DEWR вернуть последний платёж в размере 97 587,11 австралийского доллара, включая налог. Ведомство связывало это с проблемами конечного результата и признанным нарушением внутреннего порядка Deloitte по информированию клиента об использовании ИИ. В той же переписке различается согласованное применение инструментов для анализа программного кода и другие вопросы их использования. [3]
21 октября 2025 года CFO Dive сообщило, со ссылкой на представителя заказчика, что возврат более 97 тысяч австралийских долларов состоялся. Первоначальный договор оценивался примерно в 440 тысяч. Представитель ведомства также сообщил, что содержание проверки сохранено после исправлений. Следовательно, корректный финансовый вывод — возврат части гонорара. Сумму всех расходов на переделку и общий ущерб сторонам опубликованные сведения не устанавливают. [4]
Ошибка прошла через людей
Здесь легко придумать удобную мораль: запретить ИИ и больше никогда не попадать в неприятности. Но она ничего не объясняет. Люди тоже ошибаются в источниках. Особенность генерации — скорость производства правдоподобного материала и возможность получить убедительно оформленный результат без соответствующего ему основания.
В исследовании Walters и Wilder 2023 года проверялись библиографические ссылки, созданные версиями ChatGPT. Авторы обнаружили как несуществующие работы, так и ошибки в описании реально существующих публикаций. Эти данные относятся к определённым моделям и эксперименту того времени: переносить их проценты на любой современный инструмент нельзя. Устойчивый практический вывод скромнее — внешний вид научной ссылки не подтверждает её существования и корректности. [5]
В рассматриваемом кейсе особенно существенна заявленная человеческая проверка. Она была, но не поймала все ошибки. Поэтому фраза «у нас человек в контуре» ничего не доказывает без описания его работы. Человек может открыть первоисточник и сверить утверждение. А может пролистать текст, узнать знакомые фамилии и поставить галочку. В отчёте о внедрении оба действия легко превращаются в одинаковый пункт «экспертная валидация».
Мы не знаем всех внутренних действий команды Deloitte и не приписываем ей конкретную схему небрежности. Однако факт пропущенных ошибок позволяет поставить управленческий вопрос: какой результат должен оставлять контроль, чтобы его можно было отличить от присутствия контролёра?
Существующий источник ещё не является доказательством
У проверки ссылок три уровня. На первом выясняют, существует ли работа и правильно ли указаны авторы, год, название. На втором проверяют, действительно ли в ней есть нужный тезис. На третьем — позволяет ли исследование сделать именно тот вывод, который написал консультант. Без третьего уровня можно собрать безупречную библиографию под совершенно негодный совет.
Например, эксперимент с несколькими десятками специалистов показывает ускорение конкретной операции. В презентации из него внезапно вырастает обещание сократить затраты всего отдела на треть. Ссылка настоящая, авторы настоящие, переход к обещанию выдуман. Такая ошибка менее эффектна, чем несуществующая книга, но для бюджета заказчика может оказаться заметно дороже.
Именно поэтому в приёмке экспертного документа нужно проверять цепочку «утверждение — источник — ограничение — решение». Если источник описывает корреляцию, автор не должен продавать её как причинный эффект. Если результат получен в другой отрасли, различие нужно назвать. Если расчёт основан на допущении, его следует показать так, чтобы руководитель мог заменить число и увидеть последствия.
В профиле генеративного ИИ NIST риск убедительной ложной информации рассматривается вместе с вопросами достоверности и оценки системы в её реальном использовании. Для экспертного продукта это означает, что проверка содержания относится к производству результата, а не к факультативной уборке после него. [6]
Экономия на черновике может проиграть переделке
Рассмотрим условную экономику, не цифры проекта Deloitte. Команда тратит 100 часов на подготовку документа и 20 часов на проверку. ИИ сокращает подготовку до 50 часов, но надёжная проверка теперь требует 35. Чистая экономия составляет 35 часов, а не 50. Если пропущенный дефект вызывает ещё 60 часов повторной работы, весь выигрыш исчезает.
К этому могут добавиться скидка, возврат, переговоры с клиентом и задержка решения. Их нельзя автоматически записывать в убытки конкретного кейса без данных. Но в собственной финансовой модели их нужно учитывать как сценарии. Иначе предприятие сравнивает реальную стоимость старого процесса с рекламной стоимостью нового.
Разделяйте время первого прохода и стоимость принятого результата. Руководитель профессиональной фирмы продаёт клиенту пригодный к использованию документ, расчёт или решение. Дешёвый черновик — промежуточный продукт. Его быстрое появление приносит пользу только тогда, когда вся цепочка до приёмки становится лучше.
Полезно измерять возвраты на доработку, долю подтверждённых ключевых утверждений, время проверки одного источника и тяжесть пропущенных дефектов. Среднее количество ошибок без различения последствий мало помогает: опечатка в заголовке и неверное основание управленческого решения требуют разного внимания.
Протокол доказательств вместо декоративной библиографии
Для аналитического продукта можно внедрить простой регистр. Каждому существенному утверждению присваивается запись с точной формулировкой, первичным источником, местом в документе, датой проверки и ограничениями применимости. Рядом — имя проверяющего и статус. Это предлагаемая нами организация работы, а не описание внутренних процедур Deloitte.
Нельзя закрывать запись только потому, что ссылка открылась. Проверяющий должен увидеть соответствующий фрагмент и установить, что он поддерживает утверждение. Для расчёта добавляются исходные данные, формула и версия файла. Для цитаты — точное совпадение с оригиналом. Для исторического кейса — различение первоначального заявления, последующей корректировки и итогового результата.
Затем утверждения распределяются по последствиям. Денежные показатели, юридические основания, выводы о безопасности и рекомендации необратимых действий проверяются полностью. У менее значимых описаний допустим другой режим контроля, если его ограничения понятны. Решение о глубине проверки принимает владелец результата, а не текстовый генератор.
Система должна сохранять и отрицательный результат: источник не найден, данные расходятся, причинная связь не установлена. Такой статус полезнее автоматически заполненного пробела. Он показывает заказчику, где решение опирается на знание, а где остаётся неопределённость, которую придётся либо исследовать, либо принять сознательно.
Повторная проверка после правок
Есть ещё одна производственная ловушка: источник проверили в черновике, затем редактор усилил формулировку, а зелёная отметка осталась. Слова «связано с улучшением» превратились в «обеспечивает улучшение», частный результат стал общим обещанием. Формально контроль был пройден. По существу проверялось уже другое утверждение.
Поэтому существенная правка должна возвращать соответствующую запись на проверку. Это касается смены числа, периода, группы сравнения, степени уверенности и формулировки причины. Отдельно сохраняйте версию документа, принятую клиентом, чтобы последующее обновление не стирало историю выводов.
Для небольшой команды достаточно таблицы и понятного правила изменения статуса. Сложная платформа не обязательна. Обязательна связь между содержанием текста и фактом его проверки. Если эту связь нельзя показать, красивый журнал согласований только добавляет ещё один документ к тем, которым предлагают поверить на слово.
Заказчик тоже участвует в качестве
До старта работы договоритесь, для каких задач допустим ИИ, какие сведения можно обрабатывать, что именно проверяется и какие материалы передаются вместе с итоговым продуктом. Это не просьба раскрыть каждый технический шаг. Заказчику нужна возможность понять происхождение существенных выводов и воспроизвести их проверку.
Приёмку удобно провести на нескольких случайно выбранных важных утверждениях. Пусть исполнитель покажет путь от источника до рекомендации. Если на это требуется импровизация в переговорной, проблема глубже одной неверной сноски. При этом единичный найденный дефект требует оценки масштаба, а не автоматического вывода, что весь документ бесполезен.
Независимый практик может помочь заказчику проверить связь рекомендаций с его экономикой и реальными процессами. Но кейс Deloitte прямо предостерегает от покупки уверенности по вывеске: консультанту тоже нужны проверяемые основания, ясные границы задачи и ответственность за качество. Внешний статус не даёт иммунитета от ошибок.
Для компаний, которые сами производят экспертный контент, урок ещё неприятнее. Снижение стоимости текста повышает ценность проверки. Можно ускорить поиск, сравнение и подготовку материала, но нельзя продавать скорость как уже состоявшееся качество. Одна открытая читателем ссылка способна проверить это обещание быстрее, чем вы успеете объяснить свою методологию.