Дубли страниц

Происхождение и история термина

Инженерная задача поисковиков. Проблема дублей появилась вместе с крупными веб-краулерами: одну и ту же страницу незачем хранить и показывать несколько раз. Классическая работа — «Syntactic Clustering of the Web» Андрея Бродера, Стивена Глассмана, Марка Манассе (Digital Equipment Corporation, Systems Research Center) и Джеффри Цвейга ^[12]. Авторы обработали около 30 млн HTML- и текстовых документов (около 150 ГБ), собранных при обходе веба поисковиком AltaVista в апреле 1996 года, и предложили сравнивать документы по «шинглам» — непрерывным последовательностям слов, — а также меры сходства resemblance (сходство) и containment (вложенность) ^[12]. При пороге сходства 50 % они получили 3,6 млн кластеров, в которые вошли 12,3 млн документов; 2,1 млн кластеров состояли только из идентичных документов ^[12]. Работа опубликована в 1997 году в трудах конференции WWW6 и в журнале Computer Networks and ISDN Systems ^[12]; учебник Маннинга, Рагхавана и Шютце прямо называет её источником метода: «Shingling was introduced by Broder et al. (1997)» ^[13]. Это исторические данные (обход 1996 года).

Масштаб явления. Учебник (2008) приводит оценку: «By some estimates, as many as 40% of the pages on the Web are duplicates of other pages» — «по некоторым оценкам, до 40 % страниц веба дублируют другие страницы» ^[13]. Год и автор оценки не указаны, поэтому она историческая и приблизительная. Современной общедоступной статистики доли дублей в вебе найти не удалось.

Развитие методов. В 2007 году Гурмит Сингх Манку и Арвинд Джайн (Google) и Аниш Дас Сарма (работал над задачей в Google) показали, что для обнаружения нечётких дубликатов при обходе веба подходит метод отпечатков simhash, предложенный Чарикаром: для хранилища из 8 млрд страниц разумными оказались 64-битные отпечатки и k = 3 ^[14]. Годом ранее Моника Хензингер сравнила алгоритм Бродера и метод Чарикара на 1,6 млрд страниц и отметила, что ни один из них не работает хорошо для поиска нечётких дубликатов внутри одного сайта ^[15]. Все три работы — исторические: они описывают принципы, а не нынешние алгоритмы поисковых систем.

От инженерной задачи — к понятию SEO. Со временем поисковики дали владельцам сайтов инструменты, чтобы самим указывать, какой адрес из группы главный: редиректы, атрибут rel="canonical", файлы Sitemap ^[5], а в Яндексе — ещё и директиву Clean-param ^[2]. В русскоязычной практике закрепилось слово «дубли»: в справке Яндекс Вебмастера раздел называется «Дублирование страниц», а исключённая страница получает статус «Удалено: Дубль» ^[1]. В документации Google используются выражения duplicate content и duplicate URLs, а сам процесс выбора адреса называется canonicalization (канонизация) ^[4], ^[5].

Суть и механизм

Как поисковик объединяет дубли

Google. Если Google находит несколько страниц, которые выглядят одинаково или имеют очень похожий основной контент, он объединяет их в кластер и выбирает канонической ту, что, по его оценке, «objectively the most complete and useful for search users» — «объективно наиболее полная и полезная для пользователей поиска» ^[4]. Каноническая страница сканируется чаще всего, а дубли — реже, чтобы снизить нагрузку на сайты ^[4]. При выборе Google учитывает, отдаётся ли страница по HTTP или HTTPS, редиректы, наличие адреса в файле Sitemap и аннотации rel="canonical" ^[4]; по общему правилу он предпочитает каноническими HTTPS-страницы эквивалентным HTTP-страницам, хотя документация оговаривает исключения ^[5]. Разные языковые версии страницы Google считает дублями, только если основной контент на одном языке — например, переведены лишь шапка и подвал ^[4].

Яндекс. Если страницы сайта доступны по разным адресам, но имеют одинаковое содержимое, робот может счесть их дублями и объединить в группу; в поиске остаётся одна страница из группы ^[1]. На выбор можно повлиять: при 301-редиректе в поиске участвует цель перенаправления, а канонический адрес робот учитывает как рекомендацию ^[1], ^[3]. Какую страницу оставить, справка советует решать исходя из удобства посетителей ^[1].

Почему это важно. Google перечисляет причины явно указывать канонический адрес: выбрать URL, который увидят люди в результатах поиска; объединить сигналы похожих страниц; упростить учёт метрик; не тратить время сканирования на дубли ^[5]. Яндекс среди последствий называет выпадение нужной страницы из поиска, смену адреса в выдаче (это усложняет веб-аналитику) и лишнюю нагрузку на сайт при обходе; кроме того, страницы могут не объединиться в группу и тогда конкурируют в поиске как разные документы ^[1].

Как находят нечёткие дубли: научная основа

Точные копии найти просто: для каждой страницы вычисляется короткий цифровой отпечаток (fingerprint); совпадение отпечатков указывает на возможную копию, и тогда сами страницы сравнивают напрямую ^[13]. Сложнее с нечёткими дубликатами — страницами, которые отличаются мелочами, например отметкой о дате и времени последнего изменения ^[13].

Шинглы и коэффициент Жаккара. Текст разбивают на шинглы — все последовательности из k подряд идущих слов; по учебнику Маннинга и соавторов, k = 4 — типичное значение для поиска нечётких дубликатов веб-страниц ^[13]. Сходство двух страниц оценивают коэффициентом Жаккара — долей общих шинглов среди всех шинглов обеих страниц:

J(A, B) = |A ∩ B| / |A ∪ B|,

где A и B — множества шинглов двух страниц. J = 1 означает совпадение наборов шинглов, J = 0 — отсутствие общих. Страницы объявляют нечёткими дубликатами, если коэффициент превышает заранее заданный порог; учебник приводит в качестве примера 0,9 ^[13]. Мера resemblance у Бродера и соавторов определяется так же — через пересечение и объединение множеств шинглов — и принимает значения от 0 до 1 ^[12].

Simhash. Метод Чарикара строит отпечатки так, что у похожих документов похожие хеш-значения ^[14]. Задача сводится к поиску отпечатков, которые отличаются от данного не более чем в k битах; Манку и соавторы экспериментально показали, что для 8 млрд страниц подходят 64-битные отпечатки и k = 3 ^[14].

Важная оговорка. Google и Яндекс не раскрывают, какими алгоритмами и с какими порогами они определяют дубли сегодня. Шинглы и simhash — научные методы, которые объясняют принцип, но не описывают текущую реализацию в поисковых системах.

Виды и классификации

По степени совпадения

• Полные (точные) дубли — содержимое совпадает целиком; в информационном поиске такие копии выявляют сравнением отпечатков ^[13].
• Неполные (нечёткие, частичные) дубли, англ. near-duplicates — основной контент почти одинаков, но отличается деталями: датой, блоком рекомендаций, порядком товаров ^[12], ^[13].

Терминология «exact duplicates / near-duplicates» принята в научной литературе по информационному поиску ^[12]–^[15]. Деление на «полные» и «частичные» дубли распространено в российской SEO-практике; единого стандарта с точными границами между видами нет.

По причине появления: классификации Google и Яндекса

Знак «—» означает, что в цитируемом документе этот вариант отдельно не выделен; это не значит, что поисковик его не учитывает.

К типовым техническим вариантам адреса в практике также относят www и без www, index.html, верхний регистр в пути, двойной слеш. Яндекс уточняет, что повторяющиеся слеши поиск убирает сам, а адрес с обратным слешем считается отдельной страницей ^[1].

Что не является дублем

• Копии на чужих сайтах. Это не внутрисайтовые дубли. Google относит к спаму скрейпинг — практику брать контент с других сайтов, часто автоматически, и размещать его ради влияния на ранжирование ^[9]. См. Уникальность текста.
• Региональные поддомены с одинаковым содержимым — у Яндекса не дубли ^[1].
• Переводы. У Google языковые версии — дубли, только если основной контент на одном языке ^[4]; для языковых версий используют hreflang.
• Разные страницы под один запрос — это Каннибализация запросов: содержимое разное, а конкурируют страницы за один запрос.
• Одинаковый сайт на разных хостах — Зеркало сайта: дублируется сайт целиком, решается выбором главного зеркала.

Как применяется на практике

Типовые сценарии

• Переход на HTTPS. HTTP- и HTTPS-версии одной страницы — дубли в понимании Google ^[4]. Яндекс для смены протокола советует редирект 301 или 302 и пишет, что rel="canonical" для такого переезда не поддерживается ^[3]. Подробнее — HTTPS и SSL-сертификат, 301-редирект.
• Слеш на конце и index.php. Адреса /page/ и /page Яндекс считает дублями и рекомендует 301-редирект с одного варианта на другой; rel="canonical" здесь не советует, потому что он может игнорироваться ^[1]. Если редиректа ещё нет, направление выбирают по тому, какой вариант уже в поиске, чтобы адреса в выдаче не менялись ^[1]. С внутренних адресов вроде index.php перенаправляют на главную, а не наоборот; для главной страницы со слешем и без него ничего настраивать не нужно ^[1].
• Интернет-магазин. Товар в нескольких категориях Яндекс называет естественной причиной дублей ^[1], сортировки и фильтры категорий — причина дублей у Google ^[4]. Для фасетной навигации Google описывает отдельную проблему: краулеры обходят огромное число адресов-комбинаций, прежде чем понять их бесполезность, и у них остаётся меньше времени на новые полезные страницы ^[6] (см. Краулинговый бюджет).
• UTM-метки и рекламные параметры. Метки и GET-параметры, не меняющие содержимое, создают дубли ^[1]; Яндекс предлагает для них Clean-param ^[1], ^[2]. Параметры ysclid, yrclid и utm_* поисковик может удалять сам, если алгоритмы сочтут их незначимыми; такие адреса Вебмастер помечает как исключённые директивой Clean-param, и дополнительные правила для них не нужны ^[2].
• Версии для печати и AMP. Оба варианта — источники дублей по справке Яндекса; для пары «HTML и AMP» рекомендуется оставлять в поиске обычную HTML-версию ^[1].
• Пагинация — отдельная тема со своими правилами, см. Пагинация.

Как выбрать способ устранения

Советы Google о robots.txt относятся к разным задачам: для выбора канонического адреса среди нужных в поиске страниц он не подходит ^[5], а ненужные в поиске фасетные адреса можно закрыть от сканирования ^[6]. Методы канонизации можно сочетать, но разные канонические адреса для одной страницы задавать нельзя ^[5].

Сроки у Яндекса. Робот узнаёт об изменениях при посещении сайта; страница, которая не должна участвовать в поиске, исключается из него в течение трёх недель, на больших сайтах — дольше ^[1].

Как измерить или проверить

Яндекс Вебмастер ^[1]:

• «Страницы в поиске» → «Исключённые страницы» → статус «Удалено: Дубль»;
• в выгружаемом архиве дублирующая страница имеет статус DUPLICATE;
• если дубли возникли из-за GET-параметров, уведомление появляется в разделе «Диагностика сайта»;
• адреса, параметры которых поисковик удалил сам, отмечаются как исключённые директивой Clean-param ^[2].

Google Search Console. В отчёте об индексировании страниц ^[7] дубли видны по статусам:

Инструмент проверки URL показывает для отдельного адреса два значения: User-declared canonical — канонический адрес, заявленный на странице, и Google-selected canonical — адрес, который Google выбрал каноническим среди похожих страниц сайта ^[8]. Проверка в реальном времени не может предсказать, станет ли версия канонической: выбор определяется при индексировании ^[8].

Краулеры и сравнение мета-тегов. Совпадающие title и description на разных адресах — повод проверить страницы на дубли, но не доказательство: одинаковые заголовки бывают у разных страниц.

Метрики (рабочие, не нормы поисковиков): число адресов в группах дублей; доля исключённых как «Дубль» среди всех известных поисковику страниц; доля страниц, где выбранный Google канонический адрес совпадает с заявленным.

Мера сходства. Пример условный: у страниц A и B по 10 различных шинглов, общих — 8; объединение содержит 12 шинглов, J = 8 / 12 ≈ 0,67. При учебном пороге 0,9 ^[13] это не нечёткие дубликаты — но и не вердикт Яндекса или Google.

Мини-инструмент «Проверка дублей адреса»

Инструмент готовится к запуску; ниже описано, как он будет работать. До запуска проверить, как поисковик видит дубли, можно в «Страницах в поиске» Яндекс Вебмастера ^[1] и в проверке URL Search Console ^[8]. Сам инструмент будет работать в браузере, не будет отправлять запросов к сайту и сохранять введённые адреса и тексты.

Режим А — варианты адреса и правило Clean-param.

• Вход: адрес страницы и основной вариант (https или http, с www или без, со слешем на конце или без).
• Выход 1: список вариантов, которые могут оказаться дублями: другой протокол, другой вариант www, слеш на конце, index.php и index.html, верхний регистр в пути, двойной слеш, добавленные utm_* и произвольный GET-параметр. Каждый вариант — ссылкой для ручной проверки. Для слеша инструмент советует только редирект ^[1]; для двойного слеша напоминает, что Яндекс убирает повторяющиеся слеши сам ^[1].
• Выход 2: строка Clean-param: p0[&p1&p2&..&pn] [path] по списку параметров и префиксу пути ^[2]. Проверки: длина правила не больше 500 символов; в префиксе только символы A-Za-z0-9.-/*_; регистр учитывается ^[2]. Предупреждения: если адрес закрыт Disallow, он не будет проиндексирован независимо от Clean-param; utm_*, ysclid и yrclid Яндекс может удалять сам ^[2]. Пометка: директива описана в справке Яндекса и не входит в перечень полей robots.txt, которые поддерживает Google ^[11].

Режим Б — сравнение двух текстов. Пользователь вставляет основной текст двух страниц; инструмент считает шинглы (по умолчанию k = 4 слова, как в учебнике ^[13], значение можно менять), коэффициент Жаккара и подсвечивает совпадающие фрагменты. Подпись под результатом: «Это учебная оценка сходства. Поисковые системы не публикуют свои алгоритмы и пороги; результат не означает, что Яндекс или Google признают страницы дублями».

Проверку ответов сервера по сети инструмент не выполняет; о настройке перенаправлений — статья 301-редирект.

Как пользоваться. Введите адрес и основной вариант, откройте каждую ссылку из списка и убедитесь, что она перенаправляет на основной адрес или содержит canonical на него. Затем перечислите параметры, не меняющие содержимое, и скопируйте строку Clean-param.

Пример условный. Адрес https://example.ru/catalog/shoes/, основной вариант — https, без www, со слешем. Инструмент выведет http://example.ru/catalog/shoes/, https://www.example.ru/catalog/shoes/, https://example.ru/catalog/shoes, https://example.ru/catalog/shoes/?utm_source=test и другие варианты. Для параметров sid и ref, которые не меняют содержимое страницы, и префикса /catalog/ получится строка Clean-param: sid&ref /catalog/. Параметры, меняющие набор материалов на странице (например, сортировку в листинге с пагинацией), в правило не включают ^[2]. Метки utm_* в правило включать не обязательно: для автоматически удаляемых параметров дополнительных действий в robots.txt не требуется ^[2].

Ошибки, ограничения и спорные вопросы

Миф о «фильтре за дубли». Google прямо пишет, что обычные дубли на сайте не нарушают правила о спаме ^[4]; к спаму относится копирование чужого контента ради ранжирования — скрейпинг ^[9]. Справка Яндекса о дублях описывает технические последствия — выпадение нужной страницы, конкуренцию необъединённых дублей, нагрузку ^[1] — и о санкциях не говорит. Подробнее о санкциях — Фильтр поисковой системы.

Canonical как гарантия. Это подсказка у Google ^[4] и рекомендация у Яндекса ^[3]. Расхождение видно в отчёте Search Console как статус «Duplicate, Google chose different canonical than user» ^[7].

Закрытие дублей в robots.txt при ориентации на Google. Google не советует использовать robots.txt для канонизации ^[5], а страница под запретом может попасть в индекс, если на неё ссылаются другие сайты, — без описания в выдаче ^[10]; в отчёте это статус «Indexed, though blocked by robots.txt» ^[7].

Противоречивые сигналы. Canonical указывает на один адрес, а редирект или Sitemap — на другой. Google просит не задавать разными методами разные канонические адреса для одной страницы ^[5]. Яндекс не учитывает canonical, если указанный адрес перенаправляет на другую страницу или закрыт от индексирования ^[3].

Canonical вместо редиректа для слеша. Яндекс не рекомендует такой вариант: canonical может игнорироваться ^[1].

Расхождения Google и Яндекса. Disallow, noindex и Clean-param Яндекс перечисляет как способы борьбы с дублями ^[1] (для GET-параметров — Clean-param, а не Disallow ^[2]); у Google первые два не рекомендованы для канонизации ^[5], а Clean-param отсутствует в списке поддерживаемых полей robots.txt ^[11]. Сайт, важный для обоих поисковиков, надёжнее строить на 301-редиректах и canonical — их называют обе системы ^[1], ^[5].

Неизвестные пороги. Насколько страницы должны совпадать, чтобы стать дублями, поисковики не сообщают. В исследовании Хензингер ни один из двух алгоритмов не работал хорошо на парах внутри одного сайта ^[15].

Частые вопросы

Связанные термины

• Канонический адрес (canonical)
• 301-редирект
• Директива Clean-param
• robots.txt
• noindex
• Индексация
• Краулинговый бюджет
• Пагинация
• Каннибализация запросов
• Зеркало сайта / Главное зеркало