Уникальность текста

Происхождение и история термина

История автоматического сравнения документов объясняет техническую основу показателя. В работе, представленной на конференции SEQUENCES в 1997 году, Андрей Бродер различил сходство документов и вхождение одного документа в другой. Для сравнения он использовал шинглы — последовательные фрагменты заданной длины. Задачу автор связывал с ростом числа одинаковых и близких документов во Всемирной паутине. ^[6]

В современной издательской практике такой анализ служит поводом для проверки источников: Crossref описывает отчёт совпадений и предостерегает от автоматического отклонения рукописи по одному проценту. ^[2] Эта работа описывает историю метода, а не происхождение русского названия показателя.

Суть и механизм

Перед сравнением сохраните версию рукописи и выберите материал, с которым её нужно сверить. Если проверяете пересказ исследования, берите само исследование: заметка о нём может воспроизвести лишь часть исходной формулировки. В протоколе укажите, какой документ был проверяемым и какой служил источником.

В учебной модели сначала выравнивается запись символов, затем регистр букв. Нормализация NFC приводит канонически эквивалентные записи Unicode к сопоставимой форме; например, буква с диакритическим знаком может быть записана одним символом или составной последовательностью. ^[3] Это техническая обработка записи, а не понимание смысла. Замена слова синонимом остаётся заменой последовательности, даже если мысль сохранилась.

Затем программа разбивает текст на условные слова и собирает перекрывающиеся окна. Первое окно содержит слова с первого по двенадцатое, следующее — со второго по тринадцатое. Каждое окно первого текста ищется среди окон второго. Так становится видно, какие длинные последовательности совпали, а не только сколько отдельных слов встречается в обоих документах.

В коммерческом отчёте знаменатель может быть другим. Crossref описывает показатель iThenticate как отношение числа совпавших слов к общему числу слов документа; исключения пересчитывают результат. ^[2] Поэтому число совпавших окон нашего приложения нельзя напрямую сравнивать с процентом этого сервиса.

Виды и классификации

Бродер различает два вопроса: насколько документы похожи в целом и насколько один содержится внутри другого. В первом случае общие шинглы соотносятся с объединённым набором, во втором — с набором первого документа. ^[6] Отсюда важное различие: выдержка может целиком находиться в большой статье, хотя большая часть статьи в выдержке отсутствует.

Для работы редактора отдельно полезно различать попарную проверку и проверку по коллекции. Это рабочее деление по объёму доступных материалов, а не классификация всех алгоритмов. Приложение к статье выполняет только попарную проверку. Сходство смысла, переводов и аргументации оно не оценивает.

Как применяется на практике

Учебная ситуация: редактор российского городского издания проверяет объясняющий материал, в котором есть цитата и пересказ чужого исследования. Он сохраняет проверенную версию и открывает найденные фрагменты. Для цитаты важны источник и оформление; для пересказа — соответствие первоисточнику и ясное указание, чьи выводы изложены. Это предлагаемый редакционный порядок, а не описание требований определённой организации.

Если вся проверка сведётся к замене слов ради числа, редактор потеряет её содержательную цель. В учебном примере можно переставить фразы так, что длинные совпадающие окна исчезнут, а чужая мысль останется. Поэтому после просмотра отчёта нужно отдельно ответить на вопрос о происхождении материала. Turnitin прямо оставляет установление академического нарушения человеку. ^[1]

При подготовке сайта возникает ещё одна задача: один материал может находиться по нескольким адресам. Google предлагает указывать предпочтительный, или канонический, адрес для одинаковых и очень близких страниц. ^[4] Такая настройка помогает поисковой системе выбрать версию страницы. Она не устанавливает, кто написал текст, и не является разрешением его использовать.

Как измерить или проверить

Учебное сравнение двух текстов работает без сетевых запросов. В каждом поле допускается до двадцати тысяч кодовых единиц UTF-16 и до трёх тысяч условных слов. UTF-16 — способ представления строки в JavaScript; некоторые символы занимают две такие единицы. Предел проверяется до удаления пробелов по краям.

После NFC и перевода в нижний регистр условным словом считается непрерывная последовательность букв или цифр. Пунктуация, дефис и пробел разделяют слова. Это правило приложения, поэтому его счётчик не обязан совпадать с лингвистическим подсчётом. Поле без букв и цифр отклоняется. Если хотя бы один текст короче двенадцати слов, программа сообщает о недостаточной длине для такого сравнения.

Число окон первого текста рассчитывается так:

В формуле $n_A$ — число условных слов первого текста, $W_A$ — число позиций, с которых начинается полное окно. Совпавшим считается каждое окно первого текста, найденное хотя бы один раз во втором. Повторы в первом считаются по позициям; повтор во втором не увеличивает число совпадений одного окна. Это собственная модель приложения, а не точная реализация коэффициентов Бродера.

Учебный пример: «Сегодня редактор проверил новую статью о городском транспорте и сохранил подробный отчёт для коллег». Здесь четырнадцать слов и три окна: слова с первого по двенадцатое, со второго по тринадцатое, с третьего по четырнадцатое. Если второй текст отличается только заменой «Сегодня» на «Вчера», первое окно перестанет совпадать, два остальных сохранятся. Приложение покажет два совпавших окна из трёх; это не означает, что треть текста заимствована или переработана.

Поменяв тексты местами, можно получить другой знаменатель. Если первым ввести только первые двенадцать слов примера, а вторым весь пример, совпадёт одно окно из одного. В обратном направлении совпадёт одно из трёх. Для воспроизводимости сохраните оба текста и порядок полей. Когда измените хотя бы одно поле, прежние числа и примеры исчезнут: нажмите «Рассчитать», чтобы проверить новую пару. Кнопка «Сбросить» очищает оба поля и результат.

Ошибки, ограничения и спорные вопросы

Нулевое число совпадений в нашем приложении означает только отсутствие одинаковых окон установленной длины. Короткая цитата, перестановка слов или перевод могут не дать ни одного общего окна. Чем строже правило буквального совпадения, тем меньше оно говорит о сохранении чужой мысли. Эта граница следует из самой модели, а не из качества проверяемого автора.

Обратная ошибка — считать любое совпадение нарушением. Turnitin показывает, что совпадать могут оформленные цитаты и ранее загруженные версии собственной работы. ^[1] Поэтому полезнее открыть конкретные фрагменты, чем превращать один процент в итоговую оценку. Полезность, достоверность фактов и ясность изложения требуют самостоятельного чтения текста.

Правовой аспект

В России пункт 1 статьи 1259 ГК РФ относит литературные произведения к объектам авторских прав, а пункт 5 исключает охрану самих идей, методов и фактов. Используется редакция части IV от 23.07.2025 с изменениями, действующими с 04.01.2026. ^[5] Правовой вопрос касается охраняемого произведения и обстоятельств использования, поэтому вывод программы о буквальных совпадениях его не решает.

Для цитирования в информационных целях подпункт 1 пункта 1 статьи 1274 ГК РФ предусматривает использование правомерно обнародованного произведения в объёме, оправданном целью цитирования, с указанием автора и источника. ^[5] Условия этой нормы не выражены в процентах уникальности. Сам по себе результат сравнения не показывает, соблюдены ли они в конкретной публикации.

Частые вопросы

Связанные термины

• Канонический адрес
• SEO-аудит
• SEO для СМИ
• Обратный поиск изображений
• Индексация