Галлюцинации ИИ

Происхождение и история термина

Метафора «галлюцинация» связывает внешнюю убедительность результата с отсутствием надёжной опоры. Обзор Ji и соавторов охватывает её употребление в машинном переводе, пересказе документов и других задачах генерации текста. Первая версия обзора размещена в феврале 2022 года; открытая версия, используемая здесь, обновлена в июле 2024 года. Это даты работы, а не рождения термина. ^[1]

В мае 2022 года Lin, Hilton и Evans представили на конференции ACL тест TruthfulQA: вопросы специально подбирались так, чтобы обнаруживать воспроизведение человеческих заблуждений. В 2024 году NIST описал подобные риски в прикладном профиле для генеративного ИИ, а Farquhar и соавторы исследовали обнаружение одного класса ошибок. Разные задачи породили разные определения; единой границы между всеми разновидностями неверного ответа эти работы не устанавливают. ^{[2, 3, 4]}

Суть и механизм

Большая языковая модель, или LLM, строит текст, предсказывая его продолжение на основе закономерностей обучения. Единицей такого предсказания служит токен — слово либо часть слова. По объяснению NIST, этот механизм позволяет получать связные ответы, но допускает как фактические ошибки, так и внутренние противоречия. Правдоподобное продолжение фразы само по себе не является проверкой факта. ^{[3, 4]}

Причины неверных ответов различаются. В TruthfulQA исследуется воспроизведение ложных представлений из человеческих текстов; отдельно авторы обсуждают ошибки выполнения задачи, например вычисления. По одному неверному ответу нельзя уверенно восстановить причину: модель могла повторить заблуждение, неверно применить знание или не справиться с рассуждением. ^[2]

Полезно различать качество ответа и его достоверность. Учебный пример: помощника просят ответить одним предложением, а он выдаёт три достоверных абзаца. Это нарушение формата, но оно ещё не показывает, что модель придумала факты. Если же в справке появляется несуществующая награда, проблема уже касается содержания. Название «галлюцинация» не должно заменять описание конкретной ошибки.

Виды и классификации

Ji и соавторы приводят деление на два вида относительно исходного материала: intrinsic — результат противоречит источнику; extrinsic — источник не позволяет ни подтвердить, ни опровергнуть добавленное. Второй вид не обязательно ложен относительно внешнего мира. Это классификация из обзора, а не перечень всех ошибок ИИ. ^[1]

Учебный пример: в сообщении музея сказано, что выставка откроется 12 ноября и продлится до 20 ноября. Модель пишет: «Выставка откроется 10 ноября, вход бесплатный». Дата противоречит сообщению. Цена входа в нём вообще не указана: бесплатность требует другого подтверждения. Проверяющий не должен одинаково обозначать эти два результата.

Отсюда следуют две отдельные задачи: проверить верность пересказа и проверить факты по внешним данным. Даже точное воспроизведение ошибочного документа не делает сообщение истинным. В обзоре это различие описано как соответствие источнику — faithfulness — и фактическая истинность — factuality. ^[1]

Как применяется на практике

В российской документации Yandex Cloud галлюцинации названы одной из проблем LLM. Описание охватывает фактические, логические и контекстные несоответствия; возможные причины связываются, среди прочего, с запросом, данными обучения и устройством модели. Это характеристика класса систем, а не измеренная частота ошибок конкретного сервиса. ^[5]

Для редакции практический вопрос звучит так: какие сведения из машинного черновика можно переносить в публикацию? Рекомендация: сначала выделить проверяемые утверждения — даты, должности, числа, цитаты, причинные объяснения, — затем сопоставить каждое с подходящим источником. Если документ подтверждает существование организации, он не обязательно подтверждает приписанный ей результат исследования.

В международной практике управления рисками профиль NIST отдельно обращает внимание на вымышленные обоснования и ссылки, способные усиливать доверие к неверному ответу. Поэтому для справки с цитатами недостаточно убедиться, что адрес открывается: нужно найти в документе нужное положение и прочитать его в контексте. Последнее — практический вывод для проверки текста. ^[3]

Как измерить или проверить

Ниже — учебный протокол редакции, не официальный тест или норматив допустимых ошибок. Перед проверкой следует зафиксировать вопросы, версию системы, настройки генерации, дату данных и разрешённые источники. Для длинного ответа удобно заранее договориться, как делить его на утверждения: фраза с датой открытия и ценой билета содержит два отдельно проверяемых сообщения.

Каждому утверждению присваивается один результат: подтверждено, опровергнуто или пока не установлено. Для пересказа дополнительно отмечается соответствие исходному документу. В рабочей таблице сохраняются сам тезис, основание решения и место в источнике; спорный тезис остаётся неустановленным до разрешения разногласия.

Учебный расчёт: в десяти ответах выделили 40 утверждений. Из них 30 подтверждены, четыре опровергнуты, а для шести основания недостаточно. Доля опровергнутых равна числу опровергнутых утверждений, делённому на общее число проверяемых утверждений, с переводом в проценты:

4 / 40 × 100% = 10%.

Доля неустановленных составляет 6 / 40 × 100% = 15%, подтверждённых — 30 / 40 × 100% = 75%. Поэтому оставшиеся после вычитания ошибок 90% нельзя назвать долей доказанно верных утверждений. Если проверяемых утверждений нет, показатель не вычисляется.

Четыре ошибки могут находиться в одном ответе или в четырёх разных. Тогда доля ответов хотя бы с одной обнаруженной ошибкой составит соответственно 1 / 10 = 10% или 4 / 10 = 40%. Для этого показателя нужны номера ответов, а не только сумма ошибок. Все числа здесь вымышлены и не характеризуют какую-либо модель.

Ошибки, ограничения и спорные вопросы

Автоматическая оценка неопределённости помогает выбрать ответы для дополнительной проверки. В работе Farquhar и соавторов семантическая энтропия характеризует разброс смыслов нескольких сгенерированных ответов. Перефразировки одного содержания объединяются: различие слов не должно автоматически считаться различием ответа. Метод направлен на конфабуляции — неверные ответы, содержание которых меняется из-за случайности генерации. ^[4]

Этот подход не гарантирует истинности: устойчиво повторяемое заблуждение может не сопровождаться высоким разбросом. В NIST слово confabulation употреблено шире, чем в указанном эксперименте. Смешение терминов создало бы неверное обещание, будто метод обнаруживает все риски, перечисленные NIST. ^{[3, 4]}

Нельзя оценивать систему только по числу ошибок, забывая об отказах отвечать. TruthfulQA различает правдивость и информативность: постоянное уклонение от ответа не сообщает ложных фактов, но почти не помогает пользователю. При сравнении систем нужно учитывать оба свойства. Исторические результаты теста 2022 года нельзя переносить на модели 2026 года. ^[2]

Для учебного протокола существенны и другие ограничения. Большое число простых утверждений может скрыть одну ошибку, меняющую весь вывод. Поэтому рядом с долями полезно описывать последствия ошибок. Результат проверки конкретных вопросов относится к этим вопросам и условиям; маленькая подборка не даёт частоту ошибок во всех будущих ответах системы.

Частые вопросы

Связанные термины

• bolshaya-yazykovaya-model
• rag
• ii-kontent
• faktcheking
• istochnik-informatsii
• generativnyy-ii-i-etika-smi