Машина придумала судебные решения. Люди поставили под ними свои подписи. Затем другие люди сообщили, что решения не находятся, — и на этом месте ещё можно было остановиться. История Mata v. Avianca стала дорогой не только из-за ошибки генератора. Она показывает, что происходит, когда организация начинает защищать сомнительный результат вместо его проверки.

22 июня 2023 года федеральный суд Южного округа Нью-Йорка назначил денежную санкцию в 5 тысяч долларов США солидарно двум юристам, Стивену Шварцу и Питеру Лодуке, и фирме Levidow, Levidow & Oberman. Это одна общая сумма, а не по 5 тысяч каждому. В деле были представлены несуществующие судебные решения, цитаты и ссылки, созданные ChatGPT. Суд также предписал уведомить клиента и судей, которым были приписаны вымышленные решения. [1]

Пять тысяч — измеримая санкция, но не оценка всей стоимости инцидента для фирмы. Сколько стоили внутреннее разбирательство, потраченное время и последствия для отношений с клиентами, этот показатель не раскрывает. Умножать его на воображаемый коэффициент репутационного ущерба мы не будем.

Хронология, в которой было несколько выходов

Адвокаты представляли Роберто Мату в споре с авиакомпанией Avianca. При подготовке материалов использовался ChatGPT. В марте 2023 года в суд подали документ со ссылками на вымышленные дела. Противная сторона поставила их существование под сомнение; затем суд запросил тексты. Вместо немедленного признания проблемы последовали новые материалы и объяснения. После слушания 8 июня суд вынес постановление о санкциях 22 июня. [2]

В постановлении судья Питер Кевин Кастел прямо отделил допустимую помощь технологий от обязанности юристов проверять представляемые документы. Основания санкций включали установленную судом недобросовестность: сознательное избегание проверки, ложные и вводящие в заблуждение заявления, продолжение защиты вымышленных решений после предупреждений. Наказание не было автоматическим штрафом за сам факт открытия ChatGPT. [1]

Для предпринимателя здесь важны два последовательных провала. Первый — непроверенный материал прошёл наружу. Второй — сигнал об ошибке не запустил своевременную остановку и исправление. У каждого провала своя управленческая механика. Улучшить промпт недостаточно, если сотрудники боятся сообщить, что уже отправленный документ оказался негодным.

Генератор текста получил чужие полномочия

Инструмент способен составить связный ответ в профессиональном жанре: знакомые обороты, убедительная структура, названия дел, номера страниц. Из этого не следует, что он провёл проверку существования источников. Когда организация принимает форму за доказательство, она незаметно передаёт генератору полномочия, которых ему никто явно не выдавал.

В исследовании Dahl и соавторов, опубликованном в Journal of Legal Analysis, проверялись юридические галлюцинации больших языковых моделей на вопросах об американских судебных делах. Авторы обнаружили существенные ошибки и проблемы с распознаванием собственных ограничений. Результаты относятся к исследованным моделям, задачам и периоду; переносить их частоту на любой нынешний продукт было бы некорректно. Работа подтверждает необходимость независимой проверки, а не тезис о бесполезности всех юридических технологий. [3]

При этом опасность не ограничивается юристами. Коммерческий директор может получить выдуманную характеристику конкурента, закупщик — неверное условие поставки, консультант — несуществующее исследование. В каждом случае красивый текст пересекает границу и становится основанием реального действия. На этой границе и нужен контроль.

Если решение имеет последствия, статус материала должен быть виден: черновик, проверено, допущено к отправке. Отсутствие такого различия превращает общий чат в серую зону, где любой убедительный ответ легко получает печать профессионального заключения.

Переспрашивать того же генератора недостаточно

Представим, что сотрудник просит модель подтвердить собственную ссылку и получает уверенное «да». Внешней проверки не произошло. Появился ещё один текст в той же цепочке. Такая процедура похожа на контроль качества, пока никто не задаётся вопросом, откуда взялось новое подтверждение.

Независимая проверка означает выход к источнику: реальному судебному акту, документу производителя, публикации исследователей, договору или исходным данным. Важно проверить не только существование объекта, но и соответствие утверждению. Настоящее решение суда тоже можно процитировать совершенно не к месту.

Использование второго инструмента может помочь, если он действительно ищет и открывает первичные материалы. Простая смена названия чатбота не доказывает независимость результатов. Системы способны повторить одну ошибку или опереться на одинаковый недостоверный источник. Для важного вывода нужен наблюдаемый путь проверки.

Профиль рисков генеративного ИИ NIST рассматривает убедительную ложную информацию как отдельную проблему и связывает управление риском с контекстом использования и оценкой результата. Практический вывод для бизнеса: проверять надо тот материал, на основании которого принимается решение, а не только среднюю успешность инструмента на демонстрациях. [4]

Самая опасная минута наступает после предупреждения

До обнаружения дефекта организация может не понимать, что произошло. После конкретного сигнала — например, «этого источника нет» — ситуация меняется. Теперь есть проверяемое сомнение. Продолжение обычной работы превращает техническую неопределённость в управленческий выбор.

Плохой процесс заставляет автора защищать уже сделанное: клиент ждёт, руководитель согласовал, времени мало, пересмотр неприятен. В таком устройстве каждая новая проверка воспринимается как нападение. Мы не реконструируем таким образом мотивы участников Mata; это общий организационный сценарий, который следует проверить у себя.

Рабочий процесс, наоборот, делает исправление коротким и допустимым. Сотрудник сообщает, что основание не подтверждено. Отправка связанных материалов приостанавливается. Ответственный человек оценивает последствия и решает, что отозвать, перепроверить и объяснить адресатам. Сначала ограничивают распространение дефекта, затем выясняют персональную ответственность.

Эти действия особенно важны при тиражировании. Один неверный шаблон может попасть в десятки коммерческих предложений, заключений или инструкций. Если организация исправляет только документ первого пожаловавшегося клиента, источник ошибки продолжает работать.

Карточка остановки спорного материала

Для небольшой компании достаточно заранее согласованной карточки инцидента. Она не заменяет специальные профессиональные требования, но помогает не потерять управление в момент, когда уже хочется написать длинное оправдание.

  1. Предмет сомнения. Записать конкретное утверждение, документ, версию и сигнал, который требует проверки. Формулировка «ИИ опять чудит» не позволяет определить границы проблемы.
  2. Внешнее распространение. Установить, кому материал отправлен и какие действия могли быть на его основании совершены. Внутренний черновик и документ у клиента требуют разной реакции.
  3. Временное ограничение. Назначить, что приостанавливается до проверки и кто вправе снять ограничение. Блокировка должна быть достаточно узкой, чтобы не парализовать всё предприятие.
  4. Независимое основание. Найти первичный документ или зафиксировать, что подтверждения нет. Отсутствие источника нельзя закрывать ещё одной уверенной генерацией.
  5. Исправление. Определить адресатов, содержание и срок корректировки. Сохранить историю версий и проверить другие материалы, использующие то же основание.

Завершение карточки должно означать, что последствия оценены и конкретные действия выполнены. Одной фразы «проведён инструктаж» мало: она не говорит, устранён ли дефект у адресатов и изменился ли процесс выпуска материалов.

Разбору нужен и срок. Если проверка бесконечно висит между подразделениями, временное ограничение быстро начинают обходить. Назначьте момент следующего решения: подтвердить основание, заменить его, удалить утверждение или запросить дополнительную экспертизу. Зафиксируйте, какие новые данные способны изменить вывод. Так обсуждение перестаёт вращаться вокруг авторитета автора.

Отдельно оцените повторяемость. Одиночная опечатка и одна и та же неподтверждённая ссылка в двадцати документах требуют разного масштаба исправлений. Для этого нужны доступная история версий и возможность найти распространённый фрагмент. Эти скучные возможности часто полезнее ещё одной кнопки генерации, потому что позволяют быстро установить границы уже возникшей проблемы.

Подпись остаётся производственной операцией

Профессиональная работа часто проходит через несколько рук. Один сотрудник готовит материал, другой редактирует, третий подписывает. Разделение труда полезно, пока сохраняется понимание, кто и что проверил. Если каждый считает, что основание уже проверил предыдущий, цепочка согласований превращается в конвейер передачи доверия.

В выпущенном в 2024 году Formal Opinion 512 Американская ассоциация юристов рассматривает применение генеративного ИИ через профессиональные обязанности, включая компетентность, конфиденциальность, коммуникацию и надзор. Это последующее профессиональное руководство, а не документ, на котором суд основывал санкции годом ранее, и не универсальное правило для российских компаний. Его управленческая идея понятна и вне юриспруденции: использование инструмента не отменяет ответственности за готовую работу. [5]

Согласование должно фиксировать предмет проверки. Один человек отвечает за данные, другой — за расчёт, третий — за применимость вывода и выпуск. Если в небольшой фирме это один специалист, ему всё равно нужны разные этапы работы. Прочитать написанное сразу после генерации и независимо проверить основания — разные операции.

Независимый практик может помочь проверить такой процесс на реальном документе: найти места, где доверие заменило доказательство, и согласовать маршрут остановки. Полезность его участия измеряется найденными разрывами и исправлениями. Покупать внешнюю подпись ради ощущения защищённости бессмысленно.

Стоимость ошибки зависит от реакции

В планах автоматизации обычно считают сэкономленные часы подготовки. Добавьте время проверки и хотя бы один сценарий исправления уже отправленного результата. Условные два часа экономии легко проиграют десяти часам разбирательства. Эти числа иллюстративны; фактическую частоту и стоимость дефектов нужно измерять на своём процессе.

Кейс Mata показывает важное ограничение подхода «модель ошиблась, что поделаешь». Между ответом программы и официальным документом находились люди. После первого предупреждения у них оставались следующие решения. Именно поэтому управлять нужно всей последовательностью: получение материала, проверка, подпись, обнаружение дефекта, исправление.

Начните с короткой репетиции. Выберите уже отправленный документ и предположите, что одно его ключевое основание не подтвердилось. Пусть команда покажет, кто остановит дальнейшее использование, кто проверит источник и кто объяснит исправление клиенту. Если ответы появляются только после совещания директора, вам пока удалось автоматизировать подготовку текста. Управление последствиями ещё предстоит построить.