Индексация

Происхождение и история термина

Слово «индекс» пришло в веб-поиск из книжного и библиотечного дела. Яндекс в своём описании технологии сравнивает поисковый индекс с предметным указателем в книге, с оговоркой, что индекс содержит не только термины, а вообще все слова ^[12].

В теории информационного поиска основной структурой данных для такой задачи служит инвертированный индекс. В учебнике К. Маннинга, П. Рагхавана и Х. Шютце (Cambridge University Press, 2008) он описан как словарь терминов плюс списки вхождений (postings), где для каждого термина перечислены документы, в которых он встречается ^[15].

Применение этой идеи к вебу в масштабе миллионов страниц описали С. Брин и Л. Пейдж (Стэнфордский университет) в статье об архитектуре прототипа Google, опубликованной в 1998 году в журнале Computer Networks and ISDN Systems ^[16]. В их схеме отдельный компонент — индексатор — читает хранилище загруженных страниц, разбирает документы и превращает каждый в набор вхождений слов (hits); вхождения раскладываются по «бочкам» (barrels), образуя частично отсортированный прямой индекс, а сортировщик пересортировывает их по идентификаторам слов и строит инвертированный индекс; слова переводятся в числовые идентификаторы через словарь — lexicon ^[16]. Авторы сообщали о базе не менее чем из 24 млн страниц ^[16] — это историческая цифра, характеризующая прототип 1998 года, а не современный поиск.

Российская линия описана в материале Яндекса «Индексирование интернета». В нём различаются основной и быстрый роботы: первый индексирует интернет в целом, второй отвечает за то, чтобы в поиске находились самые свежие документы; обновление базы из хранилища основного робота попадало в поиск «пакетами» раз в несколько дней ^[12]. Сам Яндекс помечает этот текст как архивный, который может содержать устаревшую информацию ^[12], поэтому он годится как свидетельство истории подхода, но не как описание текущих сроков.

В Справке Яндекса используется термин «индексирование» ^[6], ^[7]; в профессиональной речи распространён также вариант «индексация». В этой статье оба слова используются как синонимы.

Суть и механизм

Место индексации среди этапов поиска

Индексация, таким образом, — это не «скачивание сайта» и не «место в выдаче». Скачать страницу — задача сканирования; решить, на какой позиции её показать, — задача ранжирования. Индексация отвечает на вопрос, будет ли страница вообще храниться в базе и в каком виде.

Что анализируется

По описанию Google, на этапе индексирования обрабатывается текстовое содержимое и ключевые теги и атрибуты — например, элемент <title> и атрибуты alt, а также изображения и видео ^[1]. Вместе с канонической страницей и её кластером в индексе могут храниться сигналы — язык страницы, страна, для которой предназначен контент, удобство использования ^[1].

Канонизация: почему в индексе одна страница из нескольких

Google сначала группирует найденные страницы с похожим содержимым (кластеризация), затем выбирает из группы ту, что лучше всего её представляет; именно каноническая страница может показываться в результатах поиска ^[1]. У Яндекса аналогичная логика видна в причинах исключения: «Страница дублирует содержание другой страницы», «Страница не является канонической», «Адрес сайта признан неглавным» (аналог зеркала) ^[9].

Инвертированный индекс: пример

Учебник Маннинга и соавторов описывает построение индекса в четыре шага: собрать документы, разбить текст на токены, провести лингвистическую предобработку (нормализацию) и записать для каждого термина список документов, где он встречается ^[15]. Ключевая операция — сортировка списка пар «термин — документ» по алфавиту терминов ^[15].

Пример. Три документа:

• Д1: «робот сканирует сайт»
• Д2: «индекс хранит слова сайта»
• Д3: «робот обновляет индекс»

После нормализации (приведения слов к начальной форме) получаем:

На запрос «робот индекс» система не перечитывает документы, а пересекает два списка (Д1, Д3 и Д2, Д3) и получает Д3. Число документов, содержащих термин, называется документной частотой и совпадает с длиной списка вхождений ^[15].

Реальные поисковые индексы хранят гораздо больше. В прототипе Google отдельно сохранялись данные о ссылках и их анкорах в файле anchors ^[16]. Для поиска с учётом расстояния между словами в индексе нужно хранить сведения о каждом вхождении каждого слова; как показывает А. Б. Веретенников в рецензируемой статье 2018 года, из-за этого запросы с часто встречающимися словами выполняются долго, а предлагаемое в некоторых поисковых системах решение — ввести список стоп-слов — по оценке автора, снижает качество поиска; поэтому он обрабатывает все слова и применяет дополнительные индексы ^[19]. Принцип «от слова к документам» при этом сохраняется.

Как это устроено у Яндекса

Яндекс описывает индекс как базу данных, где для всех слов с известных поиску сайтов хранятся сведения о том, где они встречаются ^[12]. В поиск, по тому же материалу, попадает не вся собранная база, а её полезная часть — без спама и дубликатов сайтов (зеркал) ^[12]. Деление на основной и быстрый робот описано там же ^[12]; поскольку текст архивный, детали современного конвейера по нему восстанавливать не следует.

Виды и классификации

Статусы страниц в Google Search Console

Классификация Google, отчёт «Индексирование страниц» (Page indexing report) ^[2]. Страницы делятся на проиндексированные и не проиндексированные; во втором случае указывается причина, и, по формулировке Google, это не обязательно ошибка ^[2]. Ниже — основные статусы; русские названия приведены по русской версии Справки Search Console, английские — по англоязычной ^[2].

В отчёте есть и другие причины — например, ошибки переадресации и ответы 401, 403 и прочие 4xx ^[2].

Статусы в Яндекс Вебмастере

Классификация Яндекса. Отчёт «Страницы в поиске» содержит вкладки «Последние изменения», «Все страницы» и «Исключенные страницы», а также графики «Новые и удаленные», «Исключенные», «История» и «Распределение» ^[10]. Справка Вебмастера перечисляет причины исключения ^[9]:

• «Страница признана малоценной или маловостребованной» — процесс автоматический и регулярный, поэтому решение алгоритма может измениться;
• «Ошибка при загрузке или обработке страницы роботом» — сервер ответил кодом 3XX, 4XX или 5XX;
• «Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex»;
• «Страница перенаправляет робота на другие страницы»;
• «Страница дублирует содержание другой страницы»;
• «Страница не является канонической»;
• «Адрес сайта признан неглавным» (зеркало);
• «На сайте обнаружены нарушения».

Основное и «быстрое» индексирование

Яндекс в архивном описании разделял основной робот (весь интернет) и быстрый робот (свежие документы) ^[12]. Это деление описывает историческую архитектуру, а не набор настроек для владельца сайта.

Mobile-first индексация

Индексирование по мобильной версии страницы — отдельная тема; см. Mobile-first индексация.

Как применяется на практике

Как сообщить поисковой системе о новых и изменённых страницах

Яндекс описывает несколько способов сообщить об обновлениях на сайте; в Справке разобраны четыре ^[7]:

1. Переобход страниц — ручная отправка ссылок в Вебмастере (Индексирование → Переобход страниц). По Справке, робот посетит адреса в приоритетном порядке при следующем обращении к сайту, а индексирование страницы может занять от 3 до 7 дней ^[7].
2. Файлы Sitemap — подходят, когда на сайте появилось много новых страниц ^[7].
3. Обход по счётчикам — робот обходит страницы по данным Метрики; на страницах должен стоять счётчик, привязанный к Вебмастеру ^[7].
4. IndexNow — передача изменений через API или плагины CMS ^[7], ^[8].

Яндекс рекомендует совмещать подходящие способы ^[7].

Google описывает два канала в документе о повторном сканировании ^[17]:

1. Проверка URL в Search Console — для отдельных адресов. Запросить сканирование может владелец или полноправный пользователь ресурса; на отправку отдельных URL действует квота, а повторные запросы одного и того же адреса не ускоряют сканирование ^[17]. Тот же инструмент позволяет убедиться, что страница может быть проиндексирована ^[4].
2. Файл Sitemap — когда адресов много ^[17].

Распространённое заблуждение — считать Indexing API универсальным ускорителем: по документации Google, его можно использовать только для страниц с разметкой JobPosting или BroadcastEvent, встроенной в VideoObject ^[5].

Google отдельно сообщает, что не принимает оплату за более частое сканирование сайта или более высокие позиции ^[1]; это заявление относится к Google.

IndexNow

IndexNow — протокол, позволяющий сразу сообщать поисковым системам о добавлении, изменении или удалении контента ^[14]. На странице FAQ проекта (по состоянию на 11.10.2026) перечислены участники: Amazon, Bing, Naver, Seznam.cz, Yandex, Yep; уведомление, отправленное одной системе, передаётся всем поддерживающим протокол ^[14]. В одном POST-запросе можно передать до 10 000 адресов ^[14], ^[18].

Что означает ответ сервера, уточняет документация протокола: код HTTP 200 лишь подтверждает, что поисковая система получила адреса ^[18]. FAQ отдельно оговаривает, что отправка URL не гарантирует немедленной индексации ^[14], а Справка Яндекса — что способ вообще не гарантирует индексирования переданных страниц ^[8]. Google в списке участников на странице FAQ не указан ^[14].

Как закрыть страницу от индексации

Оговорка о терминологии. Справка Яндекса называет robots.txt файлом с «параметрами индексирования сайта» ^[11], а в Вебмастере причина исключения звучит как «Индексирование страницы запрещено в файле robots.txt» ^[9]. Противоречия с таблицей нет: по существу файл задаёт правила обхода, и сам Яндекс предупреждает, что ограниченные в нём страницы могут участвовать в поиске, а для удаления из поиска советует noindex ^[11]. Google в отчёте прямо различает эти вещи: блокировка в robots.txt не обязательно предотвращает индексацию ^[2].

Для URL с незначащими параметрами у Яндекса есть директива Clean-param в robots.txt — она указывает, какие параметры (например, UTM-метки) не нужно учитывать при индексировании ^[11]. Подробнее — в статьях noindex, robots.txt, Канонический адрес (canonical), Директива Clean-param.

Типовые сценарии (примеры)

• Новый сайт не в индексе. Владелец ждёт, а в Вебмастере и Search Console нет страниц. Первое, что стоит проверить, — не остался ли запрет со времён разработки (Disallow для всего сайта или noindex в шаблоне), и отправить Sitemap.
• После переезда страницы «выпали». Старые адреса отображаются как «Страница с переадресацией» ^[2] или «Страница перенаправляет робота на другие страницы» ^[9] — это ожидаемо; проблема, если новые адреса не появились в индексе, например из-за canonical, указывающего на старый домен.
• Фильтры каталога засоряют индекс. Комбинации фильтров порождают тысячи похожих страниц, которые попадают в «дубли» или «неканонические». Решения — canonical, Clean-param для параметров ^[11], noindex для неценных комбинаций.

Как измерить или проверить

Инструменты

Яндекс Вебмастер ^[6], ^[10]:

• «Страницы в поиске» — какие страницы участвуют в поиске, какие исключены и почему;
• «Проверка страницы» — состояние конкретного URL в поиске;
• «Статистика обхода» — история обращений робота и коды ответа;
• «Мониторинг важных страниц» — отслеживание выбранных страниц;
• «Скорость обхода» и «Анализ robots.txt» (поле «Разрешены ли URL?»).

Google Search Console: отчёт «Индексирование страниц» ^[2] и «Проверка URL» ^[4], ^[17].

Оператор site: даёт лишь грубую оценку. Google предупреждает, что он не обязательно возвращает все проиндексированные URL с указанным префиксом ^[4]. Поэтому расхождение между site: и данными Search Console или Вебмастера — нормальная ситуация, а не признак проблемы.

Рабочая метрика

Практики используют долю индексации (вывод, не официальная метрика поисковых систем):

Доля индексации = число проиндексированных URL ÷ число канонических URL, отправленных в Sitemap × 100 %

Ориентиром «100 %» её делать не стоит: Google прямо говорит, что индексироваться должны лишь канонические страницы, а не все URL сайта ^[2]. Полезнее следить за динамикой: резкий рост исключённых страниц на графике Вебмастера ^[10] или в отчёте Search Console ^[2] — повод искать причину.

Мини-инструмент «Проверка: можно ли проиндексировать страницу»

Инструмент принимает URL и проверяет технические барьеры, которые мешают индексации:

1. HTTP-код ответа и цепочку редиректов;
2. правила robots.txt для User-agent Yandex и Googlebot;
3. наличие noindex в meta robots и в заголовке X-Robots-Tag;
4. rel="canonical" — указывает на эту же страницу или на другой адрес;
5. присутствие URL в sitemap.xml, указанном в robots.txt.

По каждому пункту выводится «светофор», пояснение и ссылка на нужный раздел статьи, а также ссылки на «Проверку страницы» в Яндекс Вебмастере и «Проверку URL» в Google Search Console.

Ограничение. Инструмент видит только технические барьеры. Есть ли страница в индексе, показывает лишь сама поисковая система — в Вебмастере или Search Console. Прохождение всех проверок не гарантирует индексацию: решение принимает поисковая система ^[1], ^[8].

Чек-лист «страница не индексируется»

1. Сервер отдаёт код 200, а не 3XX, 4XX или 5XX ^[9].
2. Адрес не закрыт в robots.txt (проверить в «Анализе robots.txt» ^[6]).
3. Нет noindex ни в meta-теге, ни в заголовке X-Robots-Tag ^[3].
4. rel="canonical" указывает на саму страницу, а не на другой адрес ^[2], ^[9].
5. Страница есть в файле Sitemap ^[7], ^[17].
6. На неё ведут внутренние ссылки (вывод: Google находит новые страницы в том числе по ссылкам с уже известных ^[1], поэтому страницу без ссылок — «сироту» — обнаружить труднее).
7. Содержимое не дублирует другую страницу ^[9].
8. Страница корректно отображается после рендеринга — Google выполняет JavaScript при сканировании ^[1]; проверить можно в «Проверке URL».
9. С момента отправки прошло достаточно времени: для Google сканирование может занять от нескольких дней до нескольких недель ^[17], для Яндекса индексирование после переобхода — от 3 до 7 дней ^[7].

Ошибки, ограничения и спорные вопросы

«В индексе — значит в топе». Индексация лишь делает страницу доступной для показа; порядок показа определяет ранжирование ^[1]. Страница может быть в индексе и не получать трафика.

noindex за Disallow. Чтобы увидеть meta-теги и HTTP-заголовки, Google должен просканировать страницу ^[3]. Если она закрыта в robots.txt, директива noindex не будет прочитана, и страница может остаться в выдаче, например если на неё ссылаются другие страницы ^[3]. Яндекс даёт аналогичную рекомендацию: для удаления из поиска использовать noindex в HTML-коде или HTTP-заголовке ^[11].

robots.txt — не защита. Стандарт RFC 9309 прямо указывает: «These rules are not a form of access authorization» ^[13]. Правила — это просьба к роботам, а не механизм закрытия доступа; конфиденциальные данные нужно защищать авторизацией (вывод на основе ^[13]).

Ожидание 100 % страниц в индексе. В индекс идут канонические страницы ^[2]; к тому же Яндекс может признать страницу малоценной или маловостребованной, и это решение может меняться ^[9].

Сроки индексации. Универсальной цифры нет, но обе системы дают официальные ориентиры.

Цифры вроде «1–3 дня» из блогов официальными источниками не подтверждены.

Платные «ускорители индексации» и ссылочные прогоны. Поисковые системы официально предлагают собственные каналы уведомления — Sitemap, переобход, IndexNow, Проверку URL ^[7], ^[17]; Google сообщает, что не принимает оплату за более частое сканирование ^[1]. Сторонние платные услуги не могут гарантировать результат, поскольку его не гарантируют даже официальные каналы: ни запрос сканирования в Google ^[17], ни уведомление через IndexNow у Яндекса ^[8]; успешный ответ IndexNow означает лишь, что адреса получены ^[18].

Indexing API как универсальное средство. Не подходит: применим только к вакансиям (JobPosting) и трансляциям (BroadcastEvent в VideoObject) ^[5].

Частые вопросы

Связанные термины

• Сканирование (краулинг)
• Поисковый робот
• Краулинговый бюджет
• robots.txt
• noindex
• Мета-тег robots
• Карта сайта (sitemap.xml)
• Канонический адрес (canonical)
• Дубли страниц
• Яндекс Вебмастер / Google Search Console

Также по месту: Ранжирование, Поисковая выдача (SERP), Mobile-first индексация, Рендеринг страниц, Коды ответа сервера, Главное зеркало, Директива Clean-param.