noindex

Происхождение и история термина

6 марта 2007 года Google опубликовал объяснение обработки robots meta. В нём уже разбирались noindex, сочетания нескольких правил и конфликт разрешающего и запрещающего указаний. ^[5] Это подтверждённая веха использования директивы, а не дата её изобретения.

8 июня 2009 года блог Bing также включил метатег noindex в описание удаления адресов из индекса. ^[6] Два материала показывают применение механизма разными поисковиками. Их старые формы обращений, сроки обработки и перечни параметров не следует использовать как текущую инструкцию.

Связанный механизм robots.txt получил описание в RFC 9309, опубликованном в сентябре 2022 года. Документ посвящён обращениям автоматических клиентов к ресурсам, а не введению метатега noindex. ^[4] Поэтому дата стандарта не означает дату появления запрета индексирования.

Суть и механизм

Поисковый робот — программа, которая получает ресурсы сайта для обработки поисковой системой. ^[4] Важно разделять доступ к странице и решение о её присутствии в поиске. Google исключает страницу из результатов после получения и обработки noindex. Если загрузка запрещена через robots.txt, правило на странице не будет прочитано; адрес всё ещё может появиться в выдаче, например благодаря внешним ссылкам. ^[1]

Для HTML, то есть кода разметки страницы, Google показывает следующий вариант в служебной части head: ^[3]

html <meta name="robots" content="noindex">

Это метатег с инструкцией для роботов. Его не нужно оборачивать вокруг текста. В отличие от него, HTTP-заголовок находится в ответе сервера — служебных данных, передаваемых вместе с ресурсом. Для PDF можно вернуть: ^[1]

http X-Robots-Tag: noindex

Учебная ситуация: редакция открыла публичный предпросмотр макета по отдельному адресу, но не хочет видеть его среди поисковых результатов. Разработчик задаёт правило для этого адреса. Затем проверяет опубликованный материал: общий шаблон не должен случайно перенести туда то же ограничение. Это две разные проверки, хотя страницы похожи.

Если материал вообще не предназначен посторонним, задача другая: нужен контроль доступа. RFC 9309 прямо предупреждает, что правила для роботов не заменяют защиту содержимого. ^[4] Исключение из поиска не следует считать способом раздать секретную ссылку: доступность документа и его поисковая видимость проверяются отдельно.

Виды и классификации

Следующая таблица — рабочее разделение статьи по задаче и месту правила. Это не дополнительная классификация поисковых алгоритмов.

У Яндекса есть и запись через комментарии <!--noindex--> и <!--/noindex-->. Справка предупреждает: если закрывающий тег отсутствует, скрытым считается весь контент страницы; многократная вложенность тоже обрабатывается с ограничением. ^[2] Поэтому целостность пары проверяют по итоговой разметке.

Отдельная ось — получатель правила. В Google метатег с именем googlebot адресуется его роботу, а общее robots используется для поисковых систем, поддерживающих соответствующие указания. ^[3] Проверка одного поисковика не подтверждает поведение остальных.

Как применяется на практике

До настройки составляют перечень адресов и ожидаемое состояние каждого. Например, в учебном каталоге есть опубликованная статья, публичный технический предпросмотр и PDF с пробной вёрсткой. Редактор решает, какие материалы предназначены для поиска. Разработчик выбирает место правила. Проверяющий сопоставляет решение с тем, что реально отдаёт сервер.

Удобно записывать не только адрес, но и тип страницы, ответственного за решение, дату изменения и требуемый результат. Для правила на весь шаблон в проверку включают несколько его представителей. Рядом оставляют публичные страницы, которые должны обходиться без этого ограничения. Это предлагаемый порядок приёмки, а не обязательный стандарт платформы.

Образец кода сам по себе ещё не результат внедрения. Нужно проверить конкретный URL — адрес ресурса — и полученный ответ. В учебной ситуации с PDF указание в HTML соседней страницы не заменяет проверку ответа самого файла. Аналогично изменение формы настройки в системе управления сайтом проверяют по опубликованному результату.

Как измерить или проверить

Для Google инструмент проверки URL позволяет посмотреть HTML, полученный Googlebot, а отчёт индексирования — страницы, на которых робот обнаружил noindex. ^[1] Эти данные полезны вместе с датой собственного изменения. Уже сохранённое правило и уже обработанное поисковиком правило не следует записывать как одно событие.

Учебный расчёт: перед запуском редакция проверила сорок адресов. Для двадцати служебных требовался noindex, для двадцати публичных — его отсутствие. В каждой группе нашлась одна ошибка.

Рассчитаем долю соответствия техническому заданию:

P = C / N × 100%

Здесь C — число адресов с ожидаемым состоянием, N — число проверенных адресов, P — доля в процентах. Получаем 38 / 40 × 100% = 95%. В числитель входят и правильно закрытые, и правильно открытые для индексирования страницы. Считать только количество обнаруженных noindex было бы ошибкой: в этом примере их двадцать, но два назначения неверны.

Процент характеризует именно выборку и правило проверки. Он не означает, что поисковик уже исключил 95% страниц, и не доказывает отсутствие ошибок за пределами списка. При N, равном нулю, доля не определена. Рядом с итогом сохраняют оба несоответствия: одно требует добавить запрет, другое — убрать его.

Ошибки, ограничения и спорные вопросы

Noindex нельзя заменять похожими по виду указаниями. В спецификации Google nofollow относится к переходам робота по ссылкам; none сочетает noindex и nofollow. Атрибут data-nosnippet управляет использованием фрагмента в описании результата, а не исключением всей страницы. ^[3]

Для Google запись noindex внутри robots.txt не поддерживается. ^[1] Не следует рассчитывать и на элемент Яндекса как на замену документированным способам Google: инструкция последнего предусматривает метатег или HTTP-заголовок. Различие касается не регистра букв, а места и области действия правила. ^{[1] [2]}

Ещё одна ошибка — считать сохранение настройки моментом исчезновения из поиска. Google должен снова получить ресурс; срок повторного обхода может различаться. ^[1] После снятия случайного запрета также сначала проверяют новый ответ, затем отслеживают состояние страницы.

Частые вопросы

Связанные термины

• robots-txt
• indeksatsiya
• kanonicheskiy-adres
• dubli-stranits
• oshibka-404
• yandeks-vebmaster