Кластеризация запросов

Происхождение и история термина

Кластеризация как метод. В информационном поиске кластеризацией называют алгоритмы, которые разбивают множество объектов на подмножества — кластеры; цель — получить кластеры, «coherent internally, but clearly different from each other» («внутренне связные, но явно отличающиеся друг от друга») ^[1]. Учебник Маннинга, Рагхавана и Шютце (2008) описывает кластеризацию как самую распространённую форму обучения без учителя: никакой эксперт заранее не распределял объекты по классам ^[1]. Там же сформулирована гипотеза кластеров: «Documents in the same cluster behave similarly with respect to relevance to information needs» — документы одного кластера одинаково ведут себя по отношению к релевантности информационным потребностям ^[2]. В учебнике речь идёт о кластеризации документов; кластеризации поисковых запросов посвящены отдельные, более ранние работы 2000–2002 годов ^{[3; 4]}.

Кластеризация запросов в науке. В 2000 году Дуг Бифермен и Адам Бергер представили на конференции ACM SIGKDD работу «Agglomerative Clustering of a Search Engine Query Log» (реквизиты — по списку литературы обзорной статьи Люна, Нга и Ли ^[3]). По описанию Люна, Нга и Ли, алгоритм строит двудольный граф «запросы — документы» по данным о кликах и не учитывает содержание запросов; слабое место — низкая полнота, так как общих кликов немного ^[3].

В 2001 году Цзи-Жун Вэнь, Цзянь-Юнь Ни и Хун-Цзян Чжан (Microsoft Research, Китай, и Монреальский университет) показали на конференции WWW10 кластеризацию запросов «according to their contents as well as user logs» — по их содержанию и по логам пользователей ^[4]. Исходный принцип сформулирован так: «If users clicked on the same documents for different queries, then the queries are similar» — если по разным запросам пользователи кликали на одни и те же документы, запросы похожи ^[4]. В качестве алгоритмов авторы взяли DBSCAN и его инкрементальную версию, данные — логи энциклопедии Encarta ^[4]. Расширенная версия работы, «Query Clustering Using User Logs», вышла в 2002 году в журнале ACM Transactions on Information Systems (т. 20, № 1, с. 59–81; реквизиты — по списку литературы ^[3]).

Мысль «запросы похожи, если ведут к одним и тем же документам» совпадает с логикой SEO-кластеризации по выдаче, где вместо кликов сравнивают URL в топе. Это аналогия принципа: преемственности между научными работами и отраслевыми сервисами источники не прослеживают.

Отраслевой этап в рунете. В русскоязычном SEO распространилась кластеризация «по топам» — автоматическая группировка запросов по сайтам, которые находятся в первой десятке выдачи Яндекса или Google ^{[17; 18]}. К 2018 году метод был реализован во множестве сервисов: автор обзора на Хабре рассматривал десять из них — Топвизор, Pixelplus, Serpstat, Rush Analytics, Just Magic, Key Collector, MindSerp, Semparser, KeyAssort и coolakov.ru, — но сравнил девять: по MindSerp он не смог получить демодоступ ^[19]. Кто и когда первым предложил этот метод, по доступным датированным источникам установить нельзя. В одной из вузовских публикаций о составлении семантического ядра кластеризация выделена в отдельный этап — «Доработка и кластеризация» — после сбора и чистки запросов ^[16].

Западная практика. В англоязычной отрасли термин keyword clustering Ahrefs определяет как «the process of grouping keywords with the same or similar intent» ^[20], Semrush — как группировку запросов с одним интентом для продвижения одной страницей ^[21]. Ahrefs показывает также Parent Topic и оценку сходства выдачи, Semrush Keyword Strategy Builder группирует запросы по интенту и сходству выдачи ^{[20; 21]}. Это определения и данные сервисов.

Чем кластеризация запросов не является. Это не тематический кластер (pillar page) — модель организации контента вокруг опорной страницы, для которой кластеризация может дать исходные данные. Это и не кластеризация результатов поиска, где группируются документы выдачи (search result clustering ^[2]). Ручные группы запросов в Яндекс Вебмастере — инструмент мониторинга (подробнее ниже).

Суть и механизм

Пошаговая схема

Сервисы и практики описывают процесс похожими шагами ^{[17; 18; 21]}:

1. Сбор ядра. Список запросов собирают, например, через Яндекс Вордстат; подробнее — в статье «Семантическое ядро».
2. Чистка. Из списка удаляют «все дубли, мусор и минус-слова» ^[18].
3. Съём выдачи. Для каждого запроса сохраняют первые N результатов в выбранной поисковой системе и регионе; в описаниях сервисов чаще всего N = 10 ^{[17; 18; 23]}, некоторые сервисы позволяют взять топ-20 или топ-30 ^[24].
4. Попарное сравнение. Для каждой пары запросов считают число общих URL в двух топах. На Хабре эту величину называют силой связи — «количество общих URL в поисковой выдаче по запросам» ^[19].
5. Объединение в группы. Запросы объединяют, если сила связи не ниже порога, а состав групп зависит от выбранного режима строгости (см. «Виды и классификации»).
6. Маркерный запрос. У каждого кластера выделяют главный запрос — маркер ^[18]; у Ahrefs похожую роль играет Parent Topic — ключевое слово, которое приносит больше всего трафика странице на первом месте ^[20]; у Semrush — primary keyword ^[21].
7. Ручная проверка. По данным Rush Analytics, после автоматической обработки «результаты всегда требуют ручной корректировки и оценки со стороны оптимизатора» ^[18]; Ahrefs также пишет, что результаты почти всегда допускают разные толкования ^[20].
8. Сопоставление со страницами. Каждый кластер назначают существующей странице или помечают как основу для новой; так получается карта «кластер → страница» (см. «Релевантная страница»).

Учебный пример

Пример: запросы и числа условные, реальная выдача не снималась. Возьмём восемь запросов про беговые дорожки. В ячейках — число общих URL в топ-10 для каждой пары.

Пусть порог — 4 общих URL, а маркер коммерческой группы — Q1.

• Строгий режим (каждый запрос связан с каждым): кластер А — Q1, Q2, Q3 (все пары ≥ 4); кластер Б — Q4, Q5. У Q8 с Q3 только 3 общих URL, поэтому в кластер А он не входит; других партнёров с порогом ≥ 4 у него нет, и в строгом режиме Q8 остаётся одиночным запросом.
• Мягкий режим (каждый запрос связан с маркером): Q8 связан с маркером Q1 пятью URL и попадает в кластер А — теперь в нём четыре запроса.
• В обоих режимах Q6 и Q7 ни с кем не набирают порога и остаются одиночными. Q7 вообще не имеет общих URL ни с одним запросом — у Топвизора такие запросы попадают в группу «Запросы без связей», для которых «отсутствуют совпадения по URL» ^[17].

Итоговая карта по мягкому режиму: кластер А (Q1, Q2, Q3, Q8) → страница категории каталога, кластер Б → статья-руководство по выбору, Q6 и Q7 — кандидаты на отдельные материалы или на дополнение существующих страниц. В строгом режиме судьбу одиночного Q8 решает специалист при ручной проверке.

Параметры

Виды и классификации

По критерию сходства

• По выдаче (SERP-based). Запросы сравнивают по пересечению URL в топе. Ahrefs называет этот подход типичным — группировка ключевых слов «with the same or similar search results» и оценка сходства выдачи от 0 до 100 ^[20]. Это основной метод в русскоязычных сервисах ^{[17; 18; 19; 24]}.
• Лексическая. Запросы группируют по общим словам и фразам, а не по сходству выдачи; у Ahrefs это term clustering, которую сервис называет полезной «for understanding trends and finding niches» — для понимания трендов и поиска ниш ^[20]. В отличие от группировки по выдаче, этот метод не учитывает пересечение топов, поэтому сам по себе не показывает, считает ли поисковик запросы близкими.
• Семантическая. Запросы группируют по смысловой близости, в том числе с помощью векторных представлений (эмбеддингов). Научный пример — препринт Коллуру и Мукерджи (2016): авторы расширили word2vec до векторов query2vec, которые строятся по контексту топа выдачи каждого запроса, и сгруппировали их масштабируемым алгоритмом Divide & Merge ^[5]. В отраслевых сервисах, по данным Rush Analytics, сегментацию по семантической схожести выполняют онлайн-сервисы и программы «на базе нейросетей» ^[18].
• По поведенческим данным. Запросы сравнивают по кликам пользователей на одни и те же документы ^{[3; 4]}. Такие логи есть у самих поисковых систем; SEO-специалисту чужие логи недоступны, поэтому в практике этот метод заменяют сравнением выдачи.
• Ручная (логическая). Специалист сам разбирает выдачу и решает, какие запросы закрыть одной страницей. Semrush описывает ручной разбор по трём факторам: сходство выдачи, качество контента и путь пользователя; метод даёт точный контроль, но на больших списках отнимает много времени ^[21].

По строгости SERP-кластеризации

Единой терминологии здесь нет. Одни и те же слова в разных источниках означают разные правила:

Из таблицы видно, что soft в обзоре на Хабре и в справке SE Ranking соответствует middle у Rush Analytics, а soft у Rush Analytics — ещё более мягкое правило. Поэтому, сравнивая результаты двух сервисов, надо смотреть на описание алгоритма, а не на название режима.

По степени автоматизации

Ручная (весь разбор делает человек), полуавтоматическая (сервис группирует, человек проверяет и правит) и автоматическая. Источники сходятся в том, что чисто автоматический результат без проверки использовать не стоит ^{[18; 20]}.

Плоская и иерархическая

Учебник Маннинга различает плоскую кластеризацию (кластеры не связаны между собой) и иерархическую, а также жёсткую (объект входит ровно в один кластер) и мягкую (принадлежность распределена по кластерам) ^[1]. Научные hard и soft не совпадают с отраслевыми режимами: в учебнике речь о том, может ли объект входить в несколько кластеров, в SEO-сервисах — о правиле связи запросов внутри кластера. Прикладной смысл иерархии — объединение кластеров в надкластеры, соответствующие разделам сайта.

Сравнение методов

Как применяется на практике

SEO

Главное применение — проектирование структуры сайта и посадочных страниц: Rush Analytics относит к задачам кластеризации создание целевых страниц, улучшение релевантности и перелинковку ^[18]. Кластеры распределяют по существующим страницам, а кластеры без подходящей страницы становятся планом новых материалов. На основе кластера пишут техзадание на текст: маркер и запросы кластера задают тему и состав страницы (см. «ТЗ на SEO-текст»).

Рекомендации сервисов по режимам различаются. Rush Analytics советует Hard для крупных сайтов в высококонкурентных нишах, Middle — для информационных сайтов, «а также коммерческих ресурсов в нишах с невысокой конкуренцией», Soft — для небольших новых сайтов ^[18]; arsenkin.ru связывает Soft со статьями и трафиковыми проектами, а Hard — с высокой конкуренцией ^[24]. В обзоре на Хабре 2018 года (исторические данные) автор для контентного проекта выбрал Soft с силой связи 4 и оговорил, что для интернет-магазина подошли бы другие опции ^[19]. Это наблюдения практиков, а не нормы.

Поисковые системы не требуют угадывать все формулировки: Google пишет, что не стоит беспокоиться, если вы не предусмотрели каждую вариацию запроса, — системы сопоставления языка понимают, как страница связана со многими запросами ^[7]. Кластеризация и нужна, чтобы закрыть одной страницей группу вариаций, а не делать страницу под каждую.

Россия: Яндекс и Google

Кластеризация под Яндекс и под Google строится по разным выдачам, поэтому кластеры могут не совпадать. Сервисы позволяют выбрать поисковую систему и регион ^{[17; 23]}; Топвизор, по справке 2020 года, если регион не указан, использует для Яндекса регион «Россия», а для Google — Великобританию с английским интерфейсом ^[17]. Практический вывод — снимать выдачу той системы и того региона, откуда сайт получает или планирует получать основной трафик.

Для геозависимых запросов выдача в разных городах различается, поэтому кластеры, снятые для Москвы, могут не подойти другому региону. Топвизор в справке 2020 года, напротив, советовал брать «московский ТОП» как «более конкурентный и более полный» ^[17] — это мнение сервиса.

Группы запросов в Яндекс Вебмастере — не кластеризация. Собственные группы создают, «чтобы объединить запросы, с которыми работаете чаще всего»; в группе до 500 запросов (в «Избранных» до 1000), на сайт не более 100 групп (по справке на 12.10.2026) ^[12]. Это ручная разметка для мониторинга, без алгоритма группировки по выдаче.

Контекстная реклама

Тот же принцип действует в рекламе. Справка Google Ads советует: «For each ad group, pick a narrow theme and create ad groups around that theme» — выбирайте узкую тему для каждой группы объявлений и подбирайте ключевые слова, связанные с этой темой ^[9]. Rush Analytics описывает применение кластеров в рекламе так: одно объявление и одна посадочная страница на группу ключевых слов из кластера ^[18]. Справка Яндекс Директа о подборе ключевых фраз советует сервис подбора слов и отмечает, что перечислять все близкие по смыслу слова необязательно ^[15]; рекомендации о группировке фраз по группам объявлений в ней нет.

Как измерить или проверить

Доля пересечения выдачи

Для пары запросов сходство выдачи удобно выразить так (условная запись, иллюстрация метода, а не стандарт):

Пересечение(q₁, q₂) = |URL_топN(q₁) ∩ URL_топN(q₂)| / N

где URL_топN — множество адресов в первых N результатах. В учебном примере у Q1 и Q2 общих URL 7 из 10, пересечение — 0,7. Ahrefs показывает похожую величину как оценку сходства выдачи по шкале до 100 ^[20]; формулу, по которой её считает сервис, источник не раскрывает.

Какой порог выбрать

Универсального значения нет. Ориентиры источников, от актуальных к историческим:

• arsenkin.ru (страница сервиса, проверено 12.10.2026): степень группировки задаётся от 2 до 10, рядом с полем указано «Оптимально 3»; в ответах на вопросы сервис советует начать с 3 или 4 и экспериментировать с параметрами ^[24];
• SE Ranking (справка, проверено 12.10.2026): числа нет, но сказано: «The higher the accuracy, the more precise grouping is and the fewer number of queries falls into one group» — чем выше точность, тем точнее группировка и меньше запросов в группе ^[23];
• исторические данные (старше 3 лет): справка Топвизора от 11.11.2020 — по тестам сервиса оптимальна степень 3–4 при методе HARD, но «это нужно проверять опытным путем», поскольку всё зависит от тематики сайта ^[17]; обзор на Хабре 2018 года — для контентного проекта использовался режим Soft с силой связи 4 ^[19].

Разумный способ — прогнать кластеризацию с двумя-тремя порогами и сравнить, где кластеры лучше совпадают с интентами.

Проверка результата до внедрения

1. В каждом кластере один интент (см. «Поисковый интент»): нет смеси «купить» и «как выбрать».
2. Для каждого кластера можно назвать одну страницу-кандидата.
3. Нет двух кластеров, которые претендуют на одну и ту же страницу, и нет страницы, на которую назначено несколько кластеров с разными интентами.
4. Одиночные запросы и запросы «без связей» разобраны вручную.

Признаки ошибки после внедрения

• Несколько URL сайта по одному запросу. Ahrefs считает это признаком возможной каннибализации, но предупреждает, что не каждый такой случай — проблема ^[22]. Связку «запрос — страница» показывают отчёт Search Console ^[10] и расширенная аналитика запросов по URL в Яндекс Вебмастере ^[13].
• Дубли title и description между страницами. Если две страницы получили одинаковые или почти одинаковые метатеги, это возможный признак того, что они нацелены на один кластер.

Ошибки, ограничения и спорные вопросы

Нестабильность. Выдача зависит от местоположения, истории поиска и настроек пользователя ^[8], от региона ^[14] и меняется со временем. Кластеризация фиксирует состояние выдачи на дату съёма; при заметных изменениях её стоит повторять. Топвизор, например, позволяет перекластеризовать ядро с другими настройками в течение 7 дней ^[17].

Слишком мелкое дробление. Кластеризация сама по себе не нарушает правил поисковиков. Проблема возникает, когда под похожие запросы создают почти одинаковые бесполезные страницы. Google относит к doorway abuse ситуацию, когда сайты или страницы «are created to rank for specific, similar search queries» (созданы, чтобы ранжироваться по конкретным схожим запросам), и в примерах называет создание «substantially similar pages» — во многом одинаковых страниц, которые ближе к результатам поиска, чем к понятной иерархии сайта ^[6]. В справке Яндекса отдельной нормы о таких страницах нет; ближайшие пункты — «Малополезный контент», который «не представляет ценности для пользователей и не решает их задачи», и группы сайтов одного владельца, созданные «для заполнения нескольких позиций в результатах поиска и сбора трафика» ^[11].

Слишком крупные кластеры и разнесённые кластеры. В крупный кластер попадают запросы с разными интентами, и страница не отвечает полностью ни на один. Если же запросы одного интента разнесены по разным страницам, страницы конкурируют; Ahrefs называет каннибализацией ситуацию, когда несколько страниц сайта нацелены на одинаковые или похожие ключевые слова ^[22].

Копирование решений поисковика. Метод по выдаче показывает, как поисковик понимает запрос сейчас, и не подскажет, как группировать запросы без общих URL — они попадают в группу без связей ^[17] и требуют ручного анализа.

Автоматика не заменяет проверку. Rush Analytics пишет, что результаты всегда нужно корректировать вручную ^[18], Ahrefs — что они почти всегда допускают разные толкования ^[20].

Генеративный поиск. Semrush утверждает, что кластеризация помогает видимости в ИИ-системах вроде ChatGPT ^[21]. Это мнение сервиса; первичных данных о том, как ответы нейросетей учитывают кластеризацию на сайте, в изученных источниках нет.

Частые вопросы

Связанные термины

• Семантическое ядро
• Поисковый интент
• Каннибализация запросов
• Релевантная страница
• Поисковая выдача (SERP)
• Тематический кластер (pillar page)
• Структура сайта
• Яндекс Вордстат
• ВЧ, СЧ и НЧ запросы
• ТЗ на SEO-текст
• Геозависимый запрос