Детектор ИИ-текста

Определение опирается на раздел 3.2 отчёта NIST AI 100-4: обнаружение синтетического содержания описано как классификация материала или его части с использованием данных происхождения либо других сигналов. Проверка водяного знака входит в эту область, а не образует безошибочную альтернативу классификации. ^[2]

Кратко

Метка детектора — основание для дополнительной проверки, а не готовое доказательство нарушения. ^[1]
Балл, доля найденных машинных текстов и доля ошибочных срабатываний — разные величины. ^{[2; 3]}
Для водяного знака важно, какой именно способ маркировки проверяется. ^[4]
Подтверждение происхождения текста не заменяет проверки фактов внутри него. ^[3]

Происхождение и история

Задача распознавания машинного текста существовала до массового распространения современных чат-ботов. В 2019 году Себастьян Германн, Хендрик Штробельт и Александр Раш представили GLTR. Инструмент показывал пользователю статистические признаки: насколько вероятно очередное слово по языковой модели и какое место оно занимает среди вариантов продолжения. Авторы предлагали помощь человеку при анализе, а не установление личности написавшего текст. ^[6]

Исследование Вебер-Вульф и соавторов, опубликованное 25 декабря 2023 года, перенесло внимание на испытание готовых детекторов: проверялись человеческие тексты, генерация ChatGPT, переводы и изменённые варианты. Работа выявила ошибки и ухудшение обнаружения после редактирования. Это исторический результат конкретного испытания, а не оценка всех сервисов 2026 года. ^[1]

В пилоте NIST 2024 года задача стала парным испытанием генераторов и детекторов на кратких изложениях исходных материалов. Отчёт опубликован в июне 2025 года. Такой подход позволяет сравнивать системы при описанных условиях, но авторы прямо ограничивают перенос выводов за пределы этой задачи. ^[3]

Суть и механизм

В статистическом подходе детектор ищет признаки, по которым различались известные ему примеры. GLTR, например, анализировал вероятности слов в контексте. Языковая модель здесь — система, оценивающая возможные продолжения последовательности. Если очередное слово для неё ожидаемо, это характеристика модели и контекста; отдельное обычное слово ещё не устанавливает способ создания всего текста. ^[6]

Другая возможность — проверять специально внесённый сигнал, то есть водяной знак. В SynthID Text он формируется при генерации через изменение предпочтений модели при выборе продолжений. Документация описывает три исхода обнаружения: знак найден, не найден или результат неопределённый. На решение влияют пороги; существенная переработка и перевод могут снижать уверенность детектора. ^[4]

Поэтому перед использованием числа на экране редакция предлагает прочитать его определение в документации. Условный балл «80%» нельзя самостоятельно переименовать в «80% предложений написал ИИ». Даже если разработчик называет число вероятностью, оно остаётся оценкой метода. Для проверки её качества нужны примеры с известным происхождением, а для вывода о конкретном авторе — сведения о подготовке материала.

Виды и классификации

NIST разделяет обнаружение на три пересекающихся направления: поиск данных происхождения, автоматический анализ самого содержания и анализ с участием человека. Несколько направлений могут сочетаться. ^[2] Ниже — редакционное пояснение этой схемы применительно к тексту.

Направление	Что проверяют	Граница вывода
Данные происхождения	Предусмотренную маркировку или метаданные	Отсутствие сигнала не восстанавливает историю создания
Анализ содержания	Признаки, связанные с генерацией	Похожесть на класс не называет конкретного автора
Участие человека	Результат инструмента вместе с доступными материалами	Человеческое решение также нуждается в обосновании

Для редакционной работы полезно отдельно поставить ещё два вопроса: с какими опубликованными фрагментами совпадает текст и верны ли его утверждения. Первый требует поиска совпадений, второй — фактчекинга. В пилоте NIST проверка происхождения специально отделена от проверки фактической правильности содержания. ^[3]

Как применяется на практике

В исследованиях детекторы проверяют на материалах известного происхождения. У Вебер-Вульф и соавторов набор включал 54 документа, а проверка касалась англоязычных текстов, в том числе переводов на английский. Не исследовались все возможные сочетания участия человека и модели. ^[1]

Для условной российской редакции рассмотрим поступивший авторский объяснитель. Инструмент пометил его как машинный. Редактор сохраняет проверенную версию, название и версию инструмента, его балл и порог. Затем просит автора пояснить работу с источниками и предъявить доступные черновики. Эти материалы рассматриваются вместе: отсутствие черновика само по себе не доказывает генерацию, а наличие файла не гарантирует подлинности всей истории.

Предлагаемый порядок не превращает разговор с автором в безошибочный тест. Его цель — не принимать решение по одному сигналу. В отдельном проходе редактор сверяет факты, цитаты и расчёты: такая проверка нужна при любом результате детектора. Для русского языка редакция предлагает собственный контрольный набор, близкий к её жанрам и длине публикаций, вместо механического переноса англоязычных показателей.

Как измерить или проверить

Сначала определяют положительный класс: в следующем примере это машинная генерация. После выбора порога каждый результат сравнивают с известной меткой. NIST AI 700-1 использует обозначения TP для верного обнаружения генерации, FP для ошибочного отнесения человеческого текста к машинному, FN для пропуска генерации и TN для верного отрицательного ответа. ^[3]

Условный учебный набор редакции: 1000 документов с заранее известным происхождением, из них 100 машинных и 900 человеческих. Для одного фиксированного порога получена следующая матрица. Это придуманные числа, не результаты коммерческого сервиса.

Реальное происхождение	Детектор: «машинный»	Детектор: «человеческий»	Всего
Машинное	TP = 80	FN = 20	100
Человеческое	FP = 45	TN = 855	900
Всего	125	875	1000

Частота ложных срабатываний, FPR, считается среди всех человеческих текстов, а полнота обнаружения, TPR, — среди всех машинных. Формулы соответствуют разделу 6.1.1 отчёта NIST. ^[3]

FPR = \frac{FP}{FP+TN} = \frac{45}{45+855} = 5\%.

TPR = \frac{TP}{TP+FN} = \frac{80}{80+20} = 80\%.

Теперь поставим другой вопрос: какая доля положительных меток оказалась верной? Это точность положительной классификации, или precision, определённая в приложении E.1 отчёта NIST AI 100-4. Знаменатель здесь — все помеченные как машинные документы. ^[2]

Precision = \frac{TP}{TP+FP} = \frac{80}{80+45} = 64\%.

Следовательно, в этом наборе ошибочны 45 из 125 положительных меток, то есть 36%, хотя FPR равна 5%. Противоречия нет: поменялась группа, относительно которой считается доля. Ни одна из этих величин не является автоматически вероятностью происхождения нового конкретного документа.

Чтобы увидеть влияние состава потока, изменим только учебные условия. Пусть машинных текстов по-прежнему 100, а человеческих уже 9900; условно сохраним TPR 80% и FPR 5%. Тогда получим 80 верных и 495 ошибочных положительных меток. Их точность составит 80 из 575, примерно 13,9%. Это арифметическая иллюстрация при заданных частотах, а не обещание неизменной работы настоящего детектора.

Если в наборе нет человеческих текстов, FPR по нему не определяется. Если нет машинных — не определяется TPR; если положительных меток нет — precision. Нулевой знаменатель нельзя заменять нулевой ошибкой. Для системы с ответом «неопределённо» редакция предлагает отдельно показывать число таких ответов и заранее описывать их учёт: приведённая бинарная таблица их не включает.

Ошибки, ограничения и спорные вопросы

Главная ошибка интерпретации — перенос результата испытания на неподходящие тексты. Исследование 2023 года ограничено английским языком; пилот NIST — задачей краткого изложения и разделением на человеческие и машинные материалы. Для смешанного авторства нельзя молча применять те же условия. ^{[1; 3]}

Необнаруженный водяной знак также не означает доказанного человеческого происхождения: мог проверяться неподходящий сигнал или оказаться изменён сам текст. ^[4] Редакция предлагает после смены инструмента, версии или существенного изменения рабочих материалов повторять проверку на контрольном наборе и сохранять её условия. Сравнивать только названия сервисов и красивую общую цифру недостаточно.

Правовой аспект

Для российского журналиста пункт 2 части первой статьи 49 закона о СМИ устанавливает обязанность проверять достоверность сообщаемых сведений. Результат детектора не заменяет её исполнения. Использована редакция закона от 26.06.2026; исходная обязанность действует с введения закона 08.02.1992. ^[5]

Отложенные положения этого закона относятся к другим нормам, а не к используемому пункту статьи 49. Правовые последствия обвинения, договорные условия применения ИИ и допустимость передачи чужого текста сервису требуют отдельной юридической проверки; эта статья их не определяет. ^[5]

Частые вопросы

Детектор определяет конкретную модель?

Из общей метки о машинном происхождении это не следует. Нужна отдельная заявленная и проверенная задача определения модели.

Пять процентов ложных срабатываний — это пять процентов ошибочных обвинений?

Нет. В примере это доля ошибок среди человеческих текстов. Среди положительных меток ошибочны 36%: у показателей разные знаменатели.

Можно ли напрямую сравнить баллы двух сервисов?

Редакция предлагает сначала выяснить смысл шкал, пороги и условия проверки. Равные числа без этого не означают равных результатов.

Детектор заменяет фактчекинг?

Нет. Он решает вопрос о происхождении, а не проверяет каждое утверждение текста; пилот NIST прямо разделяет эти задачи. ^[3]

Связанные термины

Источники

Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19, Article 26. https://doi.org/10.1007/s40979-023-00146-z . Полный текст: https://link.springer.com/article/10.1007/s40979-023-00146-z (дата обращения: 30.10.2026). ↑ а б в г
Chandra, B., Dunietz, J., Roberts, K., Lee, Y., Fontana, P., & Awad, G. (2024). Reducing risks posed by synthetic content: An overview of technical approaches to digital content transparency (NIST AI 100-4). NIST. https://doi.org/10.6028/NIST.AI.100-4 . Тело отчёта: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-4.pdf (дата обращения: 30.10.2026). ↑ а б в г
Iyer, H., Seo, S., Diduch, L., Peterson, K., Awad, G., & Lee, Y. (2025). 2024 NIST GenAI (Pilot Study): Text-to-text evaluation overview and results (NIST AI 700-1). NIST. https://doi.org/10.6028/NIST.AI.700-1 . Тело отчёта: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.700-1.pdf (дата обращения: 30.10.2026). ↑ а б в г д е ж з
Google. (2025, April 9). SynthID: Tools for watermarking and detecting LLM-generated text. Responsible Generative AI Toolkit. https://ai.google.dev/responsible/docs/safeguards/synthid?hl=en (дата обращения: 30.10.2026). ↑ а б в
О средствах массовой информации: Закон РФ от 27.12.1991 № 2124-1: ред. от 26.06.2026. Ст. 49, ч. 1, п. 2. URL: https://www.consultant.ru/document/cons_doc_LAW_1511/cb538501fcf1adfcebe98ad1431bca6e50d08cc6/ . Введение: постановление ВС РФ от 27.12.1991 № 2124/1-1, п. 1 — https://jurbase.ru/texts/sector172/tez72093.htm ; подтверждение даты 08.02.1992 в п. 5 письма Госналогслужбы РФ № ИЛ-6-01/177 и Минфина РФ № 04-02-01 от 02.06.1992 — https://www.consultant.ru/document/cons_doc_LAW_536/ . Проверка поправки: Федеральный закон от 26.06.2026 № 215-ФЗ, ст. 2, ст. 6 ч. 1–3 — https://www.kontur-extern.ru/info/normativ/document/1/506819-federalnyy-zakon-ot-26-06-2026-n-215-fz (дата обращения: 30.10.2026). Сопутствующие акты не увеличивают минимум тематических работ. ↑ а б
Gehrmann, S., Strobelt, H., & Rush, A. M. (2019). GLTR: Statistical detection and visualization of generated text. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations (pp. 111–116). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-3019 . Тело статьи: https://aclanthology.org/P19-3019.pdf (дата обращения: 30.10.2026). ↑ а б