Алгоритм «Королёв»

Происхождение и история термина

Проблема смыслового сопоставления возникает, когда пользователь и автор страницы говорят об одном разными словами. В работе Huang и соавторов 2013 года DSSM — глубокая структурированная семантическая модель — переводила запросы и документы в общее числовое пространство. Близость представлений использовалась для оценки соответствия. Это исследовательский контекст, а не доказательство того, что Яндекс полностью воспроизвёл данную архитектуру. ^[3]

2 ноября 2016 года Яндекс объявил «Палех»: нейросетевая модель сопоставляла запрос с заголовками страниц, в том числе при различающихся формулировках. Исторический анонс объяснял пользу такого подхода для редких запросов, по которым мало накопленной статистики. ^[2]

22 августа 2017 года был представлен «Королёв». Изменение касалось одновременно предмета анализа — текста страницы — и организации вычислений: часть работы перенесли на подготовку поисковой базы. Это связывает развитие смыслового поиска с ограничениями вычислительных ресурсов. Даты относятся к публичным сообщениям о запуске; внутреннее начало разработки и мировое первенство из них не устанавливаются. ^[1]

Суть и механизм

Нейронная сеть — обучаемая вычислительная модель: её параметры настраиваются по примерам, чтобы получать полезное представление входных данных. В DSSM исходные признаки текста проходят несколько преобразований и превращаются в числовой вектор. Само слово «вектор» здесь означает упорядоченный набор чисел, а не пересказ страницы человеческим языком. ^[3]

Сходство таких наборов позволяет оценивать связь запроса и документа. В DSSM используется косинусное сходство — мера, которая сравнивает направления векторов. Модель обучалась на парах запросов и документов, по которым пользователи переходили. Это описание конкретного исследования; его формулы и размеры слоёв не следует автоматически приписывать Яндексу. ^[3]

В техническом объяснении «Королёва» подготовка страницы отделена от ответа на запрос. При индексировании — обработке документа для включения сведений о нём в поисковую базу — заранее получают и сохраняют его вектор. После ввода запроса остаётся построить представление запроса и сравнить его с сохранёнными представлениями. В описанной версии это обмен части повторяющихся вычислений на хранение данных. ^[1]

Ранжирование означает упорядочивание найденных документов по соответствию запросу. Яндекс описывал несколько стадий: более дорогие вычисления выполнялись для отобранных кандидатов. Предвычисление позволило применять смысловые модели к более широкому набору страниц на ранних стадиях. Это не означает, что вся выдача стала определяться только одной мерой близости. ^[1]

Виды и сопоставления

У «Королёва» здесь не выделяются вымышленные «типы». Вместо этого полезно сопоставить предметы трёх исследований и сообщений.

Контекст — слова и связи вокруг рассматриваемого слова. В статье о BERT описано обучение, при котором модель восстанавливает скрытые элементы текста по окружению, а затем настраивается на отдельные задачи. Это другая постановка, чем объявить один универсальный показатель близости страницы к запросу. ^[6]

Отдельный анонс Google от 25 октября 2019 года объяснял применение BERT к пониманию поисковых запросов. Например, направление поездки зависит от отношений между словами, а не только от упоминания двух стран. Научная модель и её внедрение в поиск — разные предметы документов; ни один из них не подтверждает внутреннее устройство «Королёва». ^{[4, 6]}

Как применяется на практике

Для редактора исторический пример полезен как повод проверить соответствие обещания страницы её содержанию. Яндекс в своей позиции об оптимизации различает улучшение полезности сайта и попытки искусственно воздействовать на ранжирование. Ниже предложен редакционный контроль содержания, а не способ воспроизвести поисковую модель. ^[5]

Учебная ситуация полностью вымышлена. Страница библиотеки озаглавлена «Как попасть на вечернюю встречу». В первой версии есть только адрес, дата и начало мероприятия: «Библиотека на Садовой, 8. Встреча 5 ноября, начало в 19:00». Заголовок обещает порядок посещения, но посетителю неясно, нужна ли запись и когда приходить.

После проверки вымышленных условий организатором редактор дополняет текст: «Запишитесь через форму на странице встречи. Вход открыт с 18:30». Эта правка добавляет недостающие действия. Простая замена заголовка на «Вечерняя встреча: полная инструкция» не устранила бы пропуск. Все адреса, даты и правила в примере придуманы; они не описывают реальную библиотеку.

Другой вариант — сузить обещание до афиши с датой и адресом. Тогда редактор должен пересмотреть и набор проверяемых вопросов. Нельзя незаметно изменить задачу страницы, а затем сравнить показатели, будто критерий остался прежним.

Как измерить или проверить

Для учебной проверки заранее фиксируем пять вопросов и считаем ответ достаточным, если посетитель находит конкретное значение или действие. Все вопросы имеют одинаковый вес. Таблица показывает весь набор, поэтому результат можно воспроизвести.

Покрытие в этой авторской процедуре — число вопросов с достаточным ответом, делённое на общее число заранее выбранных вопросов. В первой версии это три из пяти, то есть 60%; во второй — пять из пяти, или 100%. Разница составляет 40 процентных пунктов. Знаменатель здесь — пять редакционных вопросов, а не запросы пользователей, страницы индекса или число переходов.

Показатель не валидирован как оценка поискового качества. Полнота выбранного набора не доказывает точность ответов, удобство формы, доступность страницы или преимущество над другими сайтами. Если набор пуст, доля не определена; если вопросы изменились, предыдущий результат следует пересчитать либо сравнение прекратить.

Для повторной проверки сохраняют обе версии страницы, таблицу вопросов и правило зачёта. Отдельно проверяют фактическую достоверность и работоспособность указанного действия. Например, фраза о записи ещё не подтверждает, что форма открывается и принимает заявку. В нашем упражнении настоящей формы и сайта нет: проверяется только полнота вымышленного текста.

Ошибки, ограничения и спорные вопросы

Исторические планы легко принять за внедрённые функции. В технической публикации 2017 года использование нейросетей на начальной фильтрующей стадии L0 и добавление персонализации перечислялись среди будущих идей. Поэтому по ней нельзя утверждать, что «Королёв» уже тогда полностью отменил отбор по словам на всех стадиях. ^[1]

Другая ошибка — считать нейросетевое представление доказательством истинности документа. Сходство темы и правильность ответа — разные вопросы: текст может обсуждать нужный предмет и содержать ошибку. В учебной процедуре проверка фактов поэтому отделена от подсчёта заполненных ответов.

Наконец, рост переходов после редакторской правки сам по себе не раскрывает причину изменения. Из такого наблюдения нельзя выделить вклад конкретного исторического компонента поиска. Публичные описания 2017 года не устанавливают текущие параметры модели, сроки обновления представлений или гарантированную позицию страницы.

Частые вопросы

Связанные термины

• algoritm-palekh
• poiskovyy-intent
• relevantnost
• indeksatsiya
• kontent-audit