Языковая модель по своей природе продолжает текст, а не проверяет факты. Поэтому главный вопрос к любому внедрению звучит не «что оно умеет», а «что оно делает, когда не знает». Ниже десять типовых вопросов, на которых контур обязан промолчать, — того же класса, что и ловушки в наших замерах.
Как ведут себя модели на таких вопросах без контура, мы измерили. Без доступа к документам три модели не ответили верно ни на один из пятидесяти вопросов. На пяти ловушках — вопросах, ответа на которые в документах нет, — младшая модель отказалась отвечать пять раз из пяти, средняя три раза, старшая ни разу. Разбор замера в хабе.
Сколько мы потратили на ремонт линии розлива в прошлом квартале?
Не найдено: в загруженных документах нет бухгалтерских данных.
Проводки и счета живут в учётной системе, а в базе знаний лежат регламенты и техническая документация. Складывать числа из соседних документов, чтобы получить правдоподобную сумму, система не станет.
Какая температура хранения у соуса, который мы запустили на прошлой неделе?
Не найдено: технологическая карта на этот продукт в базу не загружена.
Ответ был бы получен по аналогии с похожим продуктом — и это ровно тот случай, когда правдоподобный ответ опаснее отказа.
Кто подписал акт от 12 марта?
Не найдено: в скане различим текст, но не подпись.
OCR читает печатный текст. Рукописная подпись остаётся картинкой, и система не будет угадывать фамилию по расшифровке рядом.
Что решили на планёрке в понедельник?
Не найдено: устные договорённости в базу не попадают.
Расшифровки встреч с разделением говорящих у нас пока нет — это честно написано в списке ограничений. Если протокол планёрки положить в базу файлом, ответ появится.
Сколько сырья на складе прямо сейчас?
Не найдено: система работает с документами, а не с остатками в реальном времени.
Автоматической выгрузки из учётной системы сейчас нет. Она делается отдельным проектом автоматизации, и до тех пор ответ на такой вопрос был бы выдумкой.
Соответствует ли эта партия ГОСТу?
Не найдено: текст стандарта в базу не загружен.
Модель «в общих чертах помнит» многие стандарты — и именно поэтому ответила бы уверенно и неточно. Режим обязательного цитирования такой ответ вырезает.
Почему уволился технолог?
Не найдено: кадровые основания в базу знаний не загружаются.
Личные дела — специальная категория данных. Их индексирование решается отдельно, с юристом и приказом, а не по умолчанию при поставке.
Правильно ли мы оформили декларацию?
Не найдено: это юридическая оценка, а не сведения из документа.
Система показывает, что написано в ваших документах и где именно. Толковать закон и брать на себя ответственность за вывод она не должна.
Какой сейчас курс доллара?
Не найдено во внутренних документах — нужен запрос во внешний поиск.
Внешний поиск идёт через изолированный узел и включается явно. Смешивать интернет с внутренней базой без ведома пользователя система не будет.
Сколько стоит ваш сервер?
Не найдено: прайс поставщика не является документом заказчика.
Контур знает ровно то, что вы в него загрузили. Ни наших цен, ни чужих данных там нет — и это проверяется на приёмке.

Режим обязательного цитирования

Каждый ответ содержит ссылку на документ и раздел. Если релевантного фрагмента в базе нет, система отвечает «не найдено». Включается флагом на уровне запроса: для разбора договора удвоенное время до ответа нормально, для короткой справки — нет.
Проверяет черновик ответа отдельная роль, и проверяет не «похоже ли на правду», а есть ли в найденных фрагментах основание для каждого утверждения. Неподтверждённое вырезается или помечается. Гарантии «ноль галлюцинаций» мы не даём — её не может дать никто, и в договоре такая формулировка означала бы нарушенную гарантию. Как устроен проверяющий проход — разбор в хабе.

Как это проверяется на приёмке

К поставке идёт набор из пятидесяти вопросов по вашим документам. Двадцать обычных с эталонными ответами, десять — заведомо без ответа в базе, пять с противоречащими источниками, десять по плохим сканам и пять многоходовых, где ответ собирается из двух документов.
Порог приёмки: не менее 85% ответов с корректной ссылкой и ноль уверенных ответов на те десять вопросов, которых нет в базе. Второе условие важнее первого — именно на нём ломается большинство демонстраций.
Набор составляется вместе с вами до внедрения и прикладывается к договору. Он же служит сценарием демонстрации: посмотреть, как система отказывается отвечать, полезнее, чем посмотреть, как она отвечает.