Факторы ранжирования

Происхождение и история термина

Ранние поисковые системы. Уже в описании прототипа Google (1998) Сергей Брин и Ларри Пейдж перечисляют свойства документа, которые влияют на итоговый порядок: позиции и близость слов запроса в тексте, размер и начертание шрифта («Words in a larger or bolder font are weighted higher than other words»), тексты ссылок (анкоры) и PageRank — оценку страницы по ссылкам на неё ^[16]. Авторы отмечают, что анкоры часто описывают страницу точнее, чем она сама, а текстовая оценка («IR score») затем объединяется с PageRank в итоговый ранг ^[16]. В русскоязычной научной литературе ту же эволюцию описывает А. В. Кириллов (НИУ ВШЭ, 2009): от функций текстовой релевантности, в том числе BM25F, где ранжирующая функция разбивается на части по полям документа — заголовкам, ссылкам, основному тексту, — к «весовым факторам», которые не зависят напрямую от содержимого документа, прежде всего к PageRank ^[24].

Обучение ранжированию. В 2000-х годах ручное комбинирование признаков сменилось машинным обучением. Т.-Я. Лю определяет обучение ранжированию (learning to rank) как задачу автоматически построить модель ранжирования по обучающим данным и делит алгоритмы на три подхода — поточечный, попарный и списочный ^[18]. К. Бёрджес (Microsoft Research) описал линию алгоритмов RankNet → LambdaRank → LambdaMART; ансамбль моделей LambdaMART выиграл первый трек конкурса Yahoo! Learning to Rank Challenge 2010 года ^[17]. Для сравнения алгоритмов появились открытые наборы данных — LETOR ^[19] и MSLR-WEB30K/10K (2010) ^[20].

Яндекс. Компания описывала свой метод машинного обучения Матрикснет как основу для построения формулы ранжирования ^[2]; по материалу Яндекса на Хабре, Матрикснет внедрён в 2009 году ^[4]. В том же материале (А. Крайнов, 2024) сказано, что в алгоритме «Палех» (2016) Яндекс впервые применил нейросети для ранжирования сайтов, в «Королёве» (2017) нейросеть стали применять не только к заголовкам, но и к текстам страниц, а в 2020 году для ранжирования впервые использовали «тяжёлую» нейросеть YATI ^[4].

Google. Сегодня Google публикует не список факторов, а перечень систем ранжирования. Часть прежних систем влита в основные (core) системы: Panda — в 2015 году, Penguin — в 2016-м, система полезного контента (Helpful content) — в марте 2024 года ^[9].

Как называют факторы разные источники. Термин «фактор ранжирования» распространён в отраслевой практике. Яндекс употребляет его в официальных текстах ^{[1; 2]}. Google пишет о «factors and signals» и о весе, «applied to each factor» ^[8], а также использует сочетание «ranking factor» — например: «E-E-A-T itself isn't a specific ranking factor» ^[12]. В научных наборах данных то же понятие называется признаком (feature) ^[20], в русскоязычной научной статье встречается выражение «весовые факторы» ^[24].

Суть и механизм

Цепочка выглядит так: свойство → числовой признак → модель → оценка → порядок результатов. Для каждой пары «запрос — документ» система вычисляет набор чисел, модель превращает его в оценку, и результаты сортируются по этой оценке. Подробно о самой модели и её обучении — в статье Ранжирование.

Три вида свойств по Яндексу. В архивном, но показательном описании технологий Яндекса факторы определены как свойства запроса и страницы, «которые важны для ранжирования» и которые можно измерить числами ^[2]. Там же выделены:

• статические факторы — связаны только со страницей, например количество ссылок на неё в интернете;
• динамические — связаны одновременно с запросом и страницей, например присутствие слов запроса в тексте, их количество и расположение;
• свойства запроса — например геозависимость: для хорошего ответа нужно учитывать регион, из которого задан запрос ^[2].

В научной литературе это деление соответствует признакам, не зависящим от запроса (query-independent), и признакам, зависящим от запроса (query-dependent); в наборе MSLR встречаются оба типа ^[20].

Пример набора признаков из науки. Набор данных Microsoft MSLR-WEB30K (опубликован 16 июня 2010 года) содержит более 30 тыс. запросов; каждая строка — пара «запрос — URL» с меткой релевантности от 0 (нерелевантно) до 4 (полностью релевантно) и вектором из 136 признаков ^[20]. Среди них:

Источник: описание набора данных Microsoft Research ^[20]. Это исследовательский набор 2010 года, признаки в нём — «widely used in the research community», то есть распространённые в научном сообществе ^[20], а не реальный список факторов Bing, Google или Яндекса сегодня. Он полезен тем, что показывает, как устроено понятие фактора: это число, вычисленное для пары «запрос — документ» или для документа и сайта.

Роль асессоров. Асессоры — специалисты, которые оценивают, насколько страница подходит для ответа на запрос; по архивному описанию Яндекса, из запросов и хороших ответов составляется обучающая выборка, по которой машина подбирает формулу ^[2]. У Google оценки асессоров используются, чтобы измерять качество работы алгоритмов и давать системам положительные и отрицательные примеры; при этом, по словам Google, «no single rating – or single rater – directly impacts how a given page or site ranks in Search» — ни одна оценка и ни один асессор напрямую не влияют на ранжирование конкретной страницы или сайта ^[14]. Иначе говоря, оценки асессоров — учебный материал и метрика, а не фактор.

Вес зависит от запроса. Google прямо пишет, что вес каждого фактора меняется в зависимости от характера запроса; например, при поиске свежих новостей свежесть контента играет бо́льшую роль, чем при поиске словарных определений ^[8]. Отсюда практический вывод: универсального «самого важного фактора» не существует.

Уровень страницы и уровень сайта. Системы ранжирования Google работают на уровне страниц, но используют и сигналы и классификаторы уровня сайта (site-wide signals and classifiers); при этом хорошие сайтовые сигналы не означают, что всё содержимое сайта всегда будет ранжироваться высоко ^[9].

Фактор, система, фильтр. Фактор — входной признак модели. Система или алгоритм — модель или её часть, которая эти признаки обрабатывает (у Google, например, RankBrain, BERT, системы анализа ссылок и PageRank ^[9]; у Яндекса — YATI ^[4]). Фильтр, санкция, понижение — результат применения правил против спама; у Google есть, например, системы обнаружения спама и понижение сайтов, в отношении которых обработано много запросов на удаление контента (removal-based demotion) ^[9].

Виды и классификации

Единой общепринятой классификации факторов нет: поисковики публикуют собственные укрупнённые группы, а отрасль пользуется своей, неофициальной группировкой.

Классификация Google. На странице How Search Works Google называет ключевые группы сигналов ^[8]:

1. Meaning (значение) — понять намерение, стоящее за запросом.
2. Relevance (релевантность) — оценить, содержит ли контент информацию, относящуюся к запросу.
3. Quality (качество) — отдать приоритет наиболее полезному контенту; системы ищут сигналы, помогающие определить экспертность, авторитетность и надёжность. Один из таких признаков — ссылаются ли на контент другие заметные сайты. В разделе о контексте Google добавляет к этому ряду опыт: результаты должны быть качественными с учётом «expertise, experience, authoritativeness, and trustworthiness» ^[8].
4. Usability (удобство) — при прочих равных более доступный контент может показывать лучшие результаты; учитываются аспекты page experience, например быстрая загрузка и адаптация для мобильных.
5. Context (контекст) — учитывать местоположение, прошлую историю поиска и настройки поиска пользователя.

Ориентиры Яндекса. В Справке Вебмастера Яндекс предлагает улучшать позиции по направлениям «Качество», «Безопасность», «Удобство», «Польза» и «Представление в результатах поиска»; там же сказано, что при ранжировании Яндекс может учитывать «дополнительные сигналы о добросовестности компании» ^[1]. Это не список факторов, а укрупнённые ориентиры для владельцев сайтов.

Отраслевая группировка. В SEO-практике факторы обычно делят на текстовые, ссылочные, поведенческие, коммерческие, технические, региональные, хостовые (уровня сайта) и персональные. Эта группировка не официальная; она удобна для аудита, но границы групп условны. Научное деление на зависящие и не зависящие от запроса признаки близко к делению Яндекса на динамические и статические факторы ^{[2; 20]}.

Карта групп факторов

Для поведенческих, коммерческих, ссылочных факторов, E-E-A-T, YMYL и Core Web Vitals в энциклопедии есть или готовятся отдельные статьи; здесь дана только их роль в общей карте.

Ранжирующие и понижающие факторы

Отдельно от признаков, по которым результаты упорядочиваются, работают механизмы понижения. Google перечисляет в правилах о спаме ссылочный спам, переспам ключевыми словами, клоакинг, дорвеи, машинно сгенерированный трафик, массовое создание контента и другие нарушения; сайты-нарушители «may rank lower in results or not appear in results at all» — могут ранжироваться ниже или не показываться вовсе ^[13]. Среди систем Google есть системы обнаружения спама и понижение сайтов, в отношении которых обработан значительный объём запросов на удаление контента ^[9]. В Справке Яндекс Вебмастера есть раздел «Безопасность и нарушения на сайтах»; одно из нарушений — «Использование SEO-текстов», то есть текстов, которые рассчитаны на поискового робота и не несут пользователю дополнительной ценности; Справка ссылается в этой связи на материал «Баден-Баден и нарушения на сайте» ^[6]. Подробнее — в статье Фильтр поисковой системы.

Как применяется на практике

Аудит по группам факторов. Поскольку списков и весов нет, специалисты проверяют сайт по группам: доступен ли он для индексирования, отвечает ли текст на запрос, удобен ли на мобильных, быстро ли загружается, нет ли нарушений правил поисковиков. Такая схема — практика отрасли, а не официальная методика; см. также SEO-аудит.

Как сами поисковики формулируют задачу. Яндекс в правилах об оптимизации называет верным путём постоянную работу над качеством и удобством сайта для пользователей и отличает её от «псевдооптимизации»: покупных SEO-ссылок, переоптимизированных текстов, дорвеев; «неестественное завышение (накрутка) факторов теряет силу» ^[3]. Google пишет, что его автоматические системы ранжирования созданы, чтобы ставить на первое место полезную и надёжную информацию, созданную для пользы людей, а не контент, созданный для манипулирования позициями в поиске ^[12]. По странице page experience: «There is no single signal» — единого сигнала «удобства страницы» нет ^[10]. Google также подчёркивает, что всегда стремится показать самый релевантный контент, даже если удобство страницы невысокое ^[10].

Условный пример. Карточка товара в интернет-магазине. Текстовые факторы: насколько заголовок и описание соответствуют запросу с названием модели. Факторы уровня сайта и добросовестности: сведения о магазине, условиях доставки и возврата (у Яндекса — «сигналы о добросовестности компании» ^[1]). Региональные: показывается ли страница пользователям из того региона, где магазин доставляет товар. Технические: скорость загрузки и отображение на смартфоне. Пример показывает логику групп, а не реальный вес каждой из них.

Google и Яндекс: в чём различие подходов

Как измерить или проверить

Формулы, по которой можно посчитать «вклад фактора» в позицию, нет: модели и веса поисковиков закрыты, а сами веса зависят от запроса ^[8]. Извне можно наблюдать только проявления факторов и результат ранжирования.

Два важных ограничения. Во-первых, ИКС — показатель, а не фактор ранжирования: в Справке связь ИКС с позициями не указана ^[5]. Во-вторых, хорошие значения Core Web Vitals — лишь одна из групп сигналов, а релевантный контент Google покажет даже при посредственном удобстве страницы ^[10].

Ошибки, ограничения и спорные вопросы

Миф о «200 факторах». В отрасли распространено утверждение, что Google учитывает «более 200 факторов». На текущих официальных страницах Google, изученных для этой статьи, числа нет — только «many factors and signals» ^{[8; 9]}. По сообщению Search Engine Journal (2021), сотрудник Google Джон Мюллер на встрече для вебмастеров сказал: «we've kind of moved away from the over 200 ranking signals number» — компания отошла от этой цифры; он же объяснил, что сигналы нельзя просто отсортировать по важности ^[23]. Опубликованные в интернете «списки из N факторов» составлены сервисами и агентствами и не являются официальными.

Числа у Яндекса. В официальных текстах Яндекса — «очень много разных факторов» ^[2] и «сотни параметров» ^[3]. Конкретных актуальных чисел в изученных материалах Яндекса нет.

Корреляция — не фактор. Исследования сервисов обычно сравнивают признаки страниц из топа выдачи с признаками страниц ниже. Такой анализ показывает связь, но не причину: высокая позиция и признак могут зависеть от третьего обстоятельства (например, известности бренда). Это вывод; поэтому такие исследования допустимо использовать как иллюстрацию практики, но не как доказательство.

Путаница понятий. Фактор (признак), система ранжирования и фильтр — разные вещи (см. «Суть и механизм»). «Палех» или RankBrain — не факторы, а модели и системы ^{[4; 9]}. «Факторы релевантности» — не синоним: релевантность у Google — лишь одна из групп сигналов наряду с качеством, удобством и контекстом ^[8].

Спор о кликах. Google в официальном описании поиска пишет, что использует «aggregated and anonymized interaction data» — агрегированные и обезличенные данные о взаимодействии, — чтобы оценивать, релевантны ли результаты запросам ^[8]. Прямого заявления о том, что клики сами по себе являются фактором ранжирования, на этой странице нет. Больше подробностей стало известно из антимонопольного дела United States v. Google LLC. В решении суда (5 августа 2024 года) сказано, что Navboost — сигнал, который сопоставляет запросы и документы, «запоминая» данные о кликах пользователей, и что до 2017 года Navboost обучали на данных пользователей за 18 месяцев ^[21]. Суд также отмечает, что более новые сигналы (RankBrain, DeepRank, RankEmbed, RankBERT, MUM) меньше зависят от пользовательских данных, но были созданы с их использованием и продолжают на них обучаться, хотя и на меньшем объёме ^[21]. В демонстрационных слайдах к показаниям эксперта истцов Дугласа Оарда (2023) цитируется отчёт эксперта Google Эдварда Фокса: система Glue агрегирует разные виды взаимодействий — клики, наведения, прокрутки, свайпы — и определяет, показывать ли в выдаче специальный блок и где ^[22]. Это материал стороны процесса, а не официальная документация Google. О поведенческих сигналах подробнее — в статье Поведенческие факторы.

Устаревание. Описание Матрикснета на сайте Яндекса помечено как архивное и «может содержать устаревшую информацию» ^[2]. Google регулярно меняет перечень систем: Panda, Penguin и система полезного контента больше не существуют как отдельные системы и вошли в основные ^[9]. Яндекс пишет, что алгоритмы на основе машинного обучения регулярно модернизируются, а факторы ранжирования обновляются ^[1]. Поэтому любые рекомендации по факторам нужно сверять с актуальной документацией.

Правовой аспект

Отдельного правового анализа тема не требует. Ряд сведений о сигналах ранжирования Google, в том числе о системе Navboost, был раскрыт в материалах антимонопольного дела United States v. Google LLC (окружной суд США по округу Колумбия) ^{[21; 22]}.

Частые вопросы

Связанные термины

• Ранжирование
• Релевантность
• Поведенческие факторы
• Коммерческие факторы
• E-E-A-T
• YMYL-тематики
• Ссылочная масса
• Core Web Vitals
• Фильтр поисковой системы
• ИКС