Релевантность

Происхождение и история термина

Информационная наука. Понятие релевантности сформировалось в документалистике и информационной науке задолго до веб-поиска. Самый подробный исторический обзор — статья С. Мидзаро «Relevance: The whole history» (1997): в ней разобрано около 160 работ, а история разделена на три периода — до 1958 года, 1959–1976 и с 1977 года ^[3]. Граница 1958 года — Международная конференция по научной информации (ICSI), на которой, по Мидзаро, понятие было признано явно; доклады Б. Викери на этой конференции он называет вехой в истории релевантности ^[3]. До этого понятие существовало неявно: автор пишет, что оно «never comes to the surface» («не выходит на поверхность») ^[3]. Третий период Мидзаро отсчитывает от обзоров Т. Сарацевича середины 1970-х ^[3].

Сам Т. Сарацевич в 2007 году опубликовал обзор из нескольких частей в журнале JASIST. Во второй части он разбирает природу и проявления релевантности ^[4], в третьей — поведение людей при оценке релевантности и влияние этих оценок на тестирование поисковых систем ^[5]. Сарацевич приводит слова Д. Свонсона о том, что релевантность «is subjective; it is a mental experience» («субъективна; это мысленное переживание») ^[4].

Российская терминология. В России понятие закреплено в межгосударственном стандарте ГОСТ 7.73-96 «СИБИД. Поиск и распространение информации. Термины и определения». Стандарт введён в Российской Федерации с 1 января 1998 года постановлением Госстандарта России от 13 февраля 1997 года № 53 и заменил ГОСТ 7.27-80 ^[1]. Пункт 3.5.1 определяет релевантность как «Соответствие полученной информации информационному запросу», а пункт 3.5.2 пертинентность — как «Соответствие полученной информации информационной потребности» ^[1]. В каталоге национального органа по стандартизации Армении — одной из стран межгосударственной системы стандартизации — ГОСТ 7.73-96 значится действующим (Acting) ^[2].

SEO. Из информационной науки слово перешло в язык поисковых систем и оптимизаторов. Яндекс в документе «Яндекс и поисковая оптимизация» описывает вычисление «значения релевантности страницы» как основу работы поиска ^[9]. В профессиональной речи оптимизаторов слово закрепилось в выражениях «релевантная страница», «повысить релевантность», «текстовая релевантность».

Суть и механизм

Поисковая система не знает, что «на самом деле» нужно пользователю. Она получает запрос — несколько слов — и должна выбрать из индекса документы, которые с наибольшей вероятностью решат задачу человека. Яндекс формулирует это так: анализируя сотни измеримых параметров, поисковик вычисляет значение релевантности, то есть оценивает, насколько качественно страница отвечает на запрос ^[9].

Текстовая (лексическая) релевантность

Булев поиск. Простейшая модель проверяет логическое условие: документ либо удовлетворяет запросу, либо нет. Учебник К. Маннинга, П. Рагхавана и Х. Шютце отмечает, что на больших коллекциях таких документов оказывается больше, чем человек способен просмотреть, поэтому поисковику нужно упорядочивать совпавшие документы ^[6].

Векторная модель и tf-idf. Следующий шаг — взвешивать слова. Вес термина t в документе d считается так ^[6]:

tf-idf(t, d) = tf(t, d) × idf(t),   idf(t) = log(N / df(t))

Здесь tf(t, d) — частота термина в документе, N — общее число документов в коллекции, df(t) — число документов, содержащих термин ^[6]. Вес максимален, когда слово часто встречается в немногих документах, и минимален, когда оно есть почти во всех документах ^[6]. Простейшая оценка документа — сумма весов tf-idf всех слов запроса: Score(q, d) = Σ по t из q tf-idf(t, d) ^[6].

Вероятностная модель и BM25. Вероятностная модель релевантности восходит к работам 1970–1980-х годов; на ней построена функция BM25, которую С. Робертсон и Х. Сарагоса называют одним из самых успешных алгоритмов текстового поиска ^[7]. В их записи (разд. 3.4, ур. 3.15) вес слова i в документе — произведение функции насыщения частоты на вес Робертсона — Спарк Джонс (RSJ); если данных о том, какие документы релевантны, нет, вес RSJ сводится к idf-подобному весу w_IDF (ур. 3.3) ^[7]. В этом частом случае формула выглядит так:

w_i(tf) = tf / (k1 × ((1 − b) + b × dl / avdl) + tf) × w_IDF(i),
w_IDF(i) = log((N − n_i + 0,5) / (n_i + 0,5))

Обозначения: tf — частота слова в документе; dl — длина документа; avdl — средняя длина документа в коллекции; N — размер коллекции; n_i — число документов, содержащих слово; k1 управляет «насыщением» (каждое следующее повторение слова добавляет всё меньше), b (от 0 до 1) — нормализацией по длине документа ^[7]. Оценка документа — сумма таких весов по словам запроса ^[7]. Для практика важно: повторы слова дают убывающую отдачу, а длинный документ не выигрывает только за счёт объёма.

Слова запроса могут встречаться в разных местах страницы — в заголовке, основном тексте, текстах ссылок. Google пишет, что информация может быть релевантнее, если ключевые слова есть в заголовках или основном тексте страницы ^[14], но числовых «весов» таких зон нет ни в одном из официальных документов Яндекса и Google, использованных в этой статье ^{[9; 10; 14; 15; 20; 21]}. Поэтому таблицы «важности зон» — скорее оценки третьих лиц.

Смысловая (семантическая) релевантность

Совпадение слов не гарантирует совпадения смысла, а смысл может совпадать без общих слов. Поэтому поисковики научились сравнивать запросы и документы по смыслу.

Яндекс. В 2016 году Яндекс представил алгоритм «Палех»: нейросеть преобразовывала запросы и заголовки веб-страниц в наборы чисел (семантические векторы), которые можно сравнивать между собой ^{[11; 12]}. В 2017 году алгоритм «Королёв» распространил сравнение на текст страницы целиком, а векторы страниц стал вычислять заранее, на этапе индексирования ^{[11; 12]}. По данным страницы Яндекса 2017 года, «Палех» применял смысловой анализ примерно к 150 документам на последних этапах, а «Королёв» — примерно к 200 000 документов ^[11] (исторические данные на дату анонса). В 2020 году Яндекс начал использовать большую нейросеть-трансформер YATI; по оценке компании, это дало самый крупный прирост качества ранжирования со времён Матрикснета (2009) ^[12].

Google. В перечне систем ранжирования Google описывает несколько нейросетевых систем, связанных с релевантностью ^[15]:

• RankBrain помогает понять, как слова связаны с понятиями, и находить релевантные материалы, даже если в них нет всех слов запроса;
• neural matching сопоставляет представления понятий в запросах и на страницах;
• BERT помогает понять, как сочетания слов выражают разные смыслы и намерения;
• passage ranking выделяет отдельные фрагменты страницы, чтобы точнее понять, насколько она релевантна запросу.

Кроме того, Google пишет о системе синонимов, которая находит релевантные документы без точных слов запроса ^[14]. Даты запуска этих систем в справочнике Google не указаны ^[15].

Сигналы взаимодействия пользователей

Оба поисковика сообщают, что учитывают обезличенные данные о поведении пользователей, но формулируют это осторожно. Google: «We also use aggregated and anonymized interaction data to assess whether search results are relevant to queries» («Мы также используем агрегированные и обезличенные данные взаимодействия, чтобы оценить, релевантны ли результаты запросам») ^[14]. Яндекс сообщал, что нейросеть «Королёва» обучается на обезличенной поисковой статистике, а для обучения новой версии поиска используются также оценки миллионов людей ^[11]. Качество поиска оценивают, в частности, пользователи сервиса «Толока»: по данным 2017 года, за два с небольшим года они дали около двух миллиардов оценок ^[11]. Подробнее — в статье Поведенческие факторы.

Место релевантности в ранжировании

Релевантность — необходимое, но не достаточное условие высокой позиции. Google описывает отбор так: сначала определяется смысл запроса и релевантные материалы, затем системы стараются поставить выше те из них, которые выглядят наиболее полезными, учитывают удобство страницы и контекст пользователя ^[14]. Яндекс в справке Вебмастера рассматривает релевантность отдельно от аспектов «ЭПОС» — экспертности, полезности, оригинальности и содержательности ^[10]. Совокупность сигналов разобрана в статьях Ранжирование и Факторы ранжирования.

Таблица 1. Модели оценки релевантности (систематизация по источникам ^{[6; 7; 11; 12; 14; 15]})

Виды и классификации

1. Релевантность и пертинентность (ГОСТ 7.73-96). Стандарт разводит соответствие запросу (релевантность) и соответствие информационной потребности (пертинентность) ^[1]. Запрос — это то, что человек сумел сформулировать; потребность — то, что ему на самом деле нужно. Документ может точно отвечать на сформулированный запрос и при этом не решать задачу человека.

Здесь есть терминологическое расхождение, которое важно не смешивать. В учебнике Маннинга и соавторов релевантность (relevance) оценивается относительно информационной потребности, а не текста запроса (подчёркнуто «not a query»); на этой основе каждому документу тестовой коллекции присваивают бинарную оценку «релевантен / нерелевантен» ^[6]. То есть западная IR-литература называет relevance то, что по ГОСТ ближе к пертинентности. Яндекс в справке Вебмастера также предлагает понимать релевантность не как формальное соответствие запросу, а как меру соответствия страницы реальной задаче пользователя ^[10].

2. Проявления релевантности по Т. Сарацевичу (2007). В обзоре Сарацевича выделено пять проявлений релевантности; каждое определено как отношение между информацией и каким-либо объектом ^[4]:

• системная, или алгоритмическая (system or algorithmic relevance) — отношение между запросом и информационными объектами в файле системы, найденными или не найденными заданной процедурой или алгоритмом;
• тематическая (topical or subject relevance; Б. Викери называл её subject relevance) — отношение между темой, выраженной в запросе, и темой, которую охватывает информация;
• когнитивная релевантность, или пертинентность (cognitive relevance or pertinence) — отношение между состоянием знаний пользователя и информацией;
• ситуативная релевантность, или полезность (situational relevance or utility) — отношение между ситуацией, задачей или проблемой пользователя и информацией;
• аффективная (affective relevance) — отношение между намерениями, целями, эмоциями и мотивацией пользователя и информацией.

Сам Сарацевич, таким образом, называет пертинентностью когнитивную релевантность ^[4]. Сопоставление с российской терминологией: «системная» релевантность близка к тому, что поисковик вычисляет автоматически и что ГОСТ 7.73-96 называет релевантностью, а когнитивная и ситуативная — к пертинентности по ГОСТ.

3. Бинарная и градуированная оценка. В классических тестовых коллекциях оценка бинарна: релевантен или нет ^[6]. Многие задачи требуют шкалы: метрика nDCG создана для небинарных оценок релевантности ^[6]. Google в руководстве для асессоров использует шкалу Needs Met («насколько результат удовлетворяет потребность»): Fully Meets (FullyM), Highly Meets (HM), Moderately Meets (MM), Slightly Meets (SM), Fails to Meet (FailsM) ^[16]. Высшая категория FullyM предназначена для запросов с ясным намерением найти один конкретный результат ^[16].

4. Прикладная SEO-классификация. В практике оптимизации говорят о текстовой (совпадение слов), смысловой (совпадение по смыслу), тематической и интентной (соответствие типу задачи) релевантности. Это рабочая классификация практиков, а не научная; она частично пересекается с проявлениями по Сарацевичу. Тематическая релевантность разобрана в отдельной статье Тематическая релевантность, соответствие задаче пользователя — в статье Поисковый интент.

Таблица 2. Виды релевантности (сводка по источникам ^{[1; 4; 6; 10; 16]})

Как применяется на практике

Выбор страницы под запрос. Главная практическая задача — сопоставить группу запросов с одной страницей сайта, которая лучше всего решает задачу пользователя. Яндекс в справке Вебмастера советует выбрать несколько запросов и посадочных страниц, представить себя на месте пользователя, поговорить с сотрудниками, работающими с клиентами, изучить страницы конкурентов и проверить, насколько посадочные страницы закрывают потребность ^[10]. Подробно эта задача разобрана в статье Релевантная страница.

Соответствие реальной задаче. Яндекс приводит примеры, когда формальное соответствие запросу проигрывает: страница с множеством предложений, из которых запросу соответствует лишь часть, уступает более точному списку; товар, которого нет в наличии или который не доставляют в регион пользователя, уступает доступному предложению ^[10].

Ключевые слова без переспама. Google называет совпадение слов запроса и содержимого самым базовым сигналом релевантности: «The most basic signal that information is relevant is when content contains the same keywords as your search query» ^[14]. Там же сказано, что информация может быть релевантнее, если эти слова есть в заголовках или основном тексте страницы ^[14]. Яндекс в справке о теге title пишет: «Элемент title дает представление о содержании страницы и ее релевантности поисковому запросу» — и советует не повторять в нём ключевые фразы, потому что такой заголовок поиск может счесть спамом ^[21]. Избыточное повторение слов Google относит к спаму (keyword stuffing) — например, повторы слов и фраз до неестественного звучания ^[17]. Яндекс называет переоптимизацию текстов способом искусственного продвижения и считает псевдооптимизацию разновидностью поискового спама ^[9].

Генеративный поиск. В справке Вебмастера Яндекс отмечает: так как генеративные ответы в Поиске и ответы Алисы AI в чате строятся на результатах поиска, «принципиально новых требований не возникает» ^[10].

Таблица 3. Как о релевантности пишут Google и Яндекс

Примеры (условные, не реальные сайты).

1. Вхождение есть, интента нет. По запросу «купить беговую дорожку» информационная статья «История беговых дорожек» с этой фразой в заголовке формально содержит ключевые слова, но не решает задачу покупки. Пользователю нужен каталог с ценами и наличием, и именно такая страница соответствует реальной задаче в понимании Яндекса ^[10].
2. Вхождения нет, смысл совпадает. По запросу «почему телефон быстро садится» релевантной может оказаться страница «Как продлить время работы аккумулятора смартфона», хотя точной фразы в ней нет: системы смыслового сопоставления рассчитаны именно на такие случаи ^{[14; 15]}.

Как измерить или проверить

Метрики информационного поиска

Эти метрики оценивают качество поисковой системы на наборе запросов с оценками асессоров. Они не дают «процента релевантности» отдельной страницы.

Точность и полнота. Точность (Precision) — доля релевантных документов среди найденных; полнота (Recall) — доля найденных среди всех релевантных ^[6]:

P = tp / (tp + fp),   R = tp / (tp + fn)

где tp — найденные релевантные документы, fp — найденные нерелевантные, fn — релевантные, но не найденные ^[6]. В ГОСТ 7.73-96 те же величины называются коэффициентом точности (п. 3.5.4) и коэффициентом полноты (п. 3.5.3) ^[1].

nDCG. Нормализованный дисконтированный совокупный выигрыш учитывает градуированные оценки и позицию документа: чем ниже стоит полезный документ, тем меньше его вклад ^[6]. Меры совокупного выигрыша (CG) и дисконтированного совокупного выигрыша (DCG) К. Ярвелин и Я. Кекяляйнен предложили в 2000 году в докладе на конференции SIGIR ^{[19; 8]}. В статье 2002 года в журнале ACM Transactions on Information Systems они добавили нормализованную меру — результат относительно идеального ранжирования — и проверили меры на результатах по 20 темам (запросам) дорожки TREC-7 ^[8]. В записи учебника Маннинга и соавторов ^[6]:

nDCG(Q, k) = (1 / |Q|) × Σ (j = 1…|Q|) Z_kj × Σ (m = 1…k) (2^R(j, m) − 1) / log2(1 + m)

где Q — набор запросов, k — глубина выдачи, R(j, m) — оценка асессора для документа на позиции m по запросу j, Z_kj — нормирующий множитель, при котором идеальное ранжирование даёт 1 ^[6].

Оценки асессоров — не абсолютная истина. Сарацевич в обзоре 2007 года, обобщая исследования согласия оценщиков прошлых десятилетий (исторические данные), осторожно пишет: «In general, it seems that the overlap using different populations hovers around 30%» («в целом, по-видимому, совпадение оценок у разных групп колеблется около 30 %») ^[5]. При этом, по приводимым им данным Э. Вурхиз, сравнительное качество разных стратегий поиска остаётся устойчивым, несмотря на заметные расхождения в оценках ^[5].

Практическая проверка для SEO

1. Какую страницу поисковик связывает с запросом. В Google Search Console отчёт «Эффективность» показывает клики, показы, CTR и среднюю позицию в разрезе запросов и страниц ^[18]. В Яндекс Вебмастере отчёт «Аналитика поисковых запросов» показывает показы, клики, CTR, среднюю позицию и среднюю позицию клика; данные о страницах, которые показываются по запросам, находятся в отчёте «Статистика страниц в поиске» ^[13]. Если по запросу показывается не та страница, которую вы считали основной, — это сигнал пересмотреть структуру сайта: возможно, несколько страниц конкурируют за один запрос (см. Релевантная страница, Каннибализация запросов).
2. Ручная проверка выдачи. Посмотрите, страницы какого типа занимают верхние позиции: статьи, каталоги, карточки товаров, сервисы. Если ваша страница другого типа, проблема, скорее всего, в несоответствии интенту, а не в «нехватке ключевых слов» (см. Поисковый интент).
3. Сверка с задачей пользователя. Пройдите по вопросам из справки Яндекса: что пользователь хочет получить, есть ли на странице нужный ответ, товар, условие доставки, точный список ^[10].
4. Сервисы «текстового анализа». Сторонние инструменты выводят собственные «оценки релевантности» или сравнивают текст со страницами конкурентов. Такая оценка — результат модели конкретного сервиса, а не значение, которое вычисляет поисковая система: поисковики свои формулы не публикуют ^{[9; 15]}.

Ошибки, ограничения и спорные вопросы

• Релевантность нельзя измерить напрямую. Поисковик опирается только на измеримые параметры ^[9]: «поисковый алгоритм может использовать только измеримые параметры». Поэтому вычисленная релевантность — приближение к реальной полезности, а не она сама.
• Релевантность субъективна и меняется. Мидзаро резюмирует: «Relevance is subjective: Different judges may express different relevance judgments» («Релевантность субъективна: разные оценщики могут выносить разные суждения») ^[3]. Сарацевич приводит вывод Л. Шамбер и соавторов: релевантность следует моделировать как динамичную и ситуативную ^[4].
• Миф об «оптимальной плотности». Ни Яндекс, ни Google в использованных здесь документах не указывают «правильного» процента вхождений ключевых слов ^{[9; 10; 14; 15; 17; 21]}. Формула BM25 показывает обратное: повторы слова дают убывающую отдачу ^[7], а неестественные повторы Google прямо относит к спаму ^[17].
• Переспам и псевдооптимизация. Яндекс предупреждает, что переоптимизированная страница становится неудобной для чтения, а методы псевдооптимизации могут негативно повлиять на оценку сайта ^[9].
• Уникальность текста — не ценность. Уникальный по проверке антиплагиата текст может не отвечать на запрос. Яндекс оценивает оригинальность вместе с экспертностью, полезностью и содержательностью, а релевантность — отдельно, через соответствие задаче пользователя ^[10].
• Релевантность ≠ позиция. Позиция — итог ранжирования по многим сигналам, включая полезность, удобство и контекст ^[14]. Высоко релевантная страница может стоять ниже, если уступает по другим аспектам.
• Асессоры не двигают позиции. Google: «no single rating – or single rater – directly impacts how a given page or site ranks in Search» («ни одна оценка и ни один асессор не влияют напрямую на позицию страницы или сайта») ^[16]. Оценки агрегируются для измерения качества и служат примерами для улучшения систем ^[16].
• Description — про сниппет. Справки Google и Яндекса описывают meta description как один из источников текста сниппета; о его роли в оценке соответствия запросу в них не сказано ^{[22; 23]}.

Частые вопросы

Связанные термины

• Ранжирование
• Факторы ранжирования
• Поисковый интент
• Поисковый запрос
• Ключевое слово
• Релевантная страница
• Тематическая релевантность
• Поведенческие факторы
• Переспам
• Каннибализация запросов