YATI

Происхождение и история термина

Яндекс публично представил YATI 25 ноября 2020 года на YaC 2020. ^[2] Разработчик Александр Готманов объяснил название как Yet Another Transformer (with Improvements), то есть «ещё один трансформер с улучшениями». Улучшения касались приспособления модели к поисковым задачам и её работы при большой вычислительной нагрузке. ^[1]

Научная предпосылка — архитектура Transformer, предложенная Васвани и соавторами в работе 2017 года. Авторы исследовали прежде всего машинный перевод, где из входного текста нужно получить текст на другом языке. Поэтому история трансформера начинается не с правила продвижения сайтов, а с устройства нейронной сети для обработки последовательностей. ^[3]

Следующий важный контекст — BERT, представленный исследователями Google в 2018 году. Название раскрывается как Bidirectional Encoder Representations from Transformers: представления текста, которые учитывают окружение слова с обеих сторон. В отличие от обучения отдельной модели с нуля для каждой задачи, подход сочетает предварительное обучение на текстах и последующую настройку на нужную задачу. ^[4]

Развитие YATI продолжилось предметной специализацией. В 2022 году Алексей Степанов описал CS YATI: вариант для программирования, где CS означает Computer Science — компьютерные науки. ^[5] Таким образом, в истории названия различаются исходная технология и её специализированное применение. Эти публикации описывают этапы развития, а не полную схему поиска на 2026 год.

Суть и механизм

Трансформер превращает элементы текста в числовые представления и связывает их механизмом внимания. Внимание — вычисление, при котором вклад одних элементов в представление другого получает разные веса. Это позволяет учитывать отношения между частями последовательности; слово «внимание» здесь обозначает математическую операцию, а не сознательное чтение. ^[3]

Понятный пример контекста даёт BERT. Одно и то же слово может иметь разные значения в зависимости от окружения; модель строит представление с учётом соседнего текста. При предварительном обучении BERT часть слов скрывают, а модель учится восстанавливать их по контексту. Так общая задача обработки языка подготавливает модель к дальнейшей настройке. ^[4]

В историческом описании YATI обучение начинается на поисковых текстах и включает предсказание кликов. Затем модель последовательно настраивают по человеческим оценкам и итоговому показателю качества. На вход поступают запрос, его расширения и выбранные фрагменты документа. Выбор фрагментов нужен из-за ограничений обработки длинной страницы; пропуск важного предложения способен повлиять на оценку. ^[1]

Для ускорения разработчики обучали более лёгкую модель воспроизводить результаты более тяжёлой и разделяли вычисления между частями системы. Это называется дистилляцией и разделением модели соответственно. Поэтому публичное название YATI обозначает технологическое решение, а не простую формулу, которую можно вычислить по числу слов в статье. ^[1]

Виды и классификации

Полезно различать три уровня: архитектуру, обученную модель и поисковую систему. Это учебная схема статьи. Архитектура задаёт устройство вычислений; обучение настраивает модель; поисковая система использует её результаты вместе с другими сигналами. В описании Яндекса 2022 года оценка YATI поступает в итоговую модель ранжирования на основе CatBoost. ^{[3, 5]}

Другой разрез — общая и предметная модель. CS YATI обучали на материалах и поисковых данных по программированию, а затем на оценках специалистов. Это подтверждённый пример специализации; из него не следует существование отдельной YATI для любой отрасли. ^[5]

Как применяется на практике

Исторические применения общего подхода различаются:

Google объяснял практическую ценность контекста на запросах, где предлог меняет направление поездки: сведения о поездке из одной страны в другую не равнозначны сведениям об обратном маршруте. Это пример из анонса, а не сравнительный тест качества Google и Яндекса. ^[7]

Рассмотрим учебный пример. Человек ищет «перенести контакты из приложения А в Б без потери номеров». Первая страница десять раз повторяет эту фразу, но предлагает только купить подписку. Вторая описывает, какой файл можно экспортировать, какие поля импортируются и как проверить сохранность номеров. Для поставленной учебной задачи вторая страница содержит ответ, а первая — нет. Число повторов здесь специально выбрано условно и не является порогом поискового алгоритма.

Полезность второй страницы можно объяснить без догадки о балле модели: читатель получает способ проверить результат. Редакционная рекомендация для такой инструкции — показать исходные условия, порядок действий и возможные потери данных. Если перенос не поддерживается, честное объяснение этого ограничения тоже помогает решить задачу. Эта рекомендация относится к качеству объяснения; место страницы в настоящей выдаче пример не предсказывает.

Как измерить или проверить

Для проверки поиска учебник Мэннинга, Рагхавана и Шютце предлагает тестовую коллекцию: документы, информационные потребности и оценки релевантности. Оценивают соответствие потребности, а не простое присутствие слов запроса. Один из показателей — Precision@k, доля релевантных документов среди первых k результатов. ^[6]

Формула при наличии k результатов и k больше нуля:

Здесь r — количество результатов, признанных релевантными, k — количество просмотренных позиций. Знаменатель не равен числу всех полезных страниц в интернете. Показатель выражается долей от нуля до единицы либо процентом. ^[6]

Перед сравнением систем нужно выбрать одинаковый набор запросов и заранее определить k — сколько верхних результатов учитываются. Если выбрать k после просмотра удачной выдачи, получится необъективное сравнение. Учебный расчёт: среди первых пяти результатов полезны первый, третий и пятый. Получаем 3/5 = 0,6, или 60%. Если после изменения выдачи полезны четыре из пяти, результат равен 80%; разница составляет 20 процентных пунктов. Перестановка тех же трёх полезных документов внутри пятёрки оставит 60%: этот показатель не различает их порядок внутри выбранной группы.

Для воспроизводимости учебной проверки запишите запрос, ожидаемый ответ, выбранные пять страниц и основания каждого решения. Если два проверяющих расходятся, сначала разберите причину расхождения, а затем считайте результат. В истории CS YATI неспециалисты могли принять совпадение терминов за полезный ответ; привлечение асессоров-программистов помогло исправить оценку качества. Асессор — человек, оценивающий результаты поиска по заданию. ^[5]

Ошибки, ограничения и спорные вопросы

Precision@k чувствителен к набору запросов и количеству релевантных документов; по одному учебному примеру нельзя оценить весь поиск. ^[6] Тем более результат 60% не означает, что YATI присвоила странице балл 0,6: мы посчитали долю выбранных человеком полезных результатов, а не выход нейросети.

Контекстная модель также может ошибаться. В анонсе BERT для поиска Google прямо показывал нерешённые случаи понимания запросов. ^[7] Из наличия трансформера поэтому не следует ни безошибочность, ни одинаковый ответ разных систем. Для конкретной страницы полезно различать три вопроса: отвечает ли она на задачу, верны ли её сведения и какое место ей назначил поиск. Это разные предметы проверки.

Частые вопросы

Связанные термины

• relevantnost
• poiskovyy-intent
• neyropoisk
• algoritm-palekh
• semanticheskoe-yadro
• seo