Мета-тег robots

Происхождение и история термина

Мета-тег robots описан в спецификации HTML 4.01. Это рекомендация W3C от 24 декабря 1999 года, её редакторы — Дейв Рэггетт, Арно Ле Ор и Иэн Джейкобс; 27 марта 2018 года W3C перевёл спецификацию в статус заменённой (Superseded Recommendation) ^[11]. В приложении B.4.1.2 «Robots and the META element» перечислены всего четыре значения атрибута content: ALL, INDEX, NOFOLLOW, NOINDEX. Там же приведён пример <META name="ROBOTS" content="NOINDEX, NOFOLLOW">: робот не должен ни индексировать документ, ни анализировать его ссылки ^[11]. Авторы спецификации отмечают, что в начале 1997 года этот механизм поддерживали лишь немногие роботы, и ожидали, что поддержка будет расти ^[11].

Формального стандарта тег так и не получил. MDN указывает, что он не входит ни в одну спецификацию, но служит стандартом де-факто для общения с поисковыми ботами и краулерами ^[15]. Google прямо предупреждает, что другие поисковые системы могут обрабатывать его правила иначе ^[1].

Вехи, подтверждённые публикациями самих компаний:

• Сентябрь 2019 года, Google. Джон Мюллер объявил директивы max-snippet, max-video-preview и max-image-preview, а также атрибут data-nosnippet для элементов span, div и section. Настройки мета-тега должны были вступить в силу в середине или конце октября 2019 года (mid-to-late October 2019), а data-nosnippet — позднее в том же году ^[17].
• 8 апреля 2020 года, Bing. Поддержка max-snippet, max-image-preview и max-video-preview в мета-теге и в X-Robots-Tag; Bing заявил, что будет считать их директивами, а не подсказками ^[12].
• 22 сентября 2023 года, Bing. Новый смысл nocache и noarchive: они определяют, может ли контент попадать в ответы Bing Chat и использоваться для обучения генеративных моделей Microsoft ^[13].
• 15 октября 2025 года, Bing. Поддержка атрибута data-nosnippet, который исключает фрагмент страницы из сниппетов и ИИ-ответов ^[14].

Даты введения X-Robots-Tag, unavailable_after и indexifembedded спецификация Google не указывает ^[1].

Сейчас у Google, помимо четырёх значений 1999 года, есть директивы для сниппета, превью, перевода, срока показа и встраивания ^[1]. Часть директив выведена из употребления: noarchive и nositelinkssearchbox больше ничем не управляют, потому что исчезли соответствующие функции выдачи (ссылка на сохранённую копию и поле поиска по сайту), а nocache Google Поиск не использует ^[1].

Суть и механизм

Синтаксис и размещение

Атрибут name указывает, к какому роботу обращено правило, а content содержит директивы через запятую; их можно разнести и по нескольким тегам ^[1]. Google не различает регистр ни в значениях, ни в именах атрибутов ^[1].

Место тега — секция <head>. Google при этом не требует строгого размещения и учитывает тег и в <body> ^[1]. В Справке Яндекса ^[7] размещение вне <head> не описано.

<head>
  <meta name="robots" content="noindex, follow">
</head>

Кому адресовано правило

• name="robots" — всем поисковым роботам ^{[1; 7]}.
• name="googlebot" — роботу Google для текстовых результатов, name="googlebot-news" — для новостных результатов ^[1].
• name="yandex" — роботам Яндекса ^[7].

Общий тег robots у Google действует только на поисковых краулеров. Чтобы ограничить не-поисковых роботов, например AdsBot-Google, может понадобиться отдельное правило с именем этого робота ^[1].

Общие и персональные правила складываются. У Google действует «сумма запрещающих правил» (the sum of the negative rules): общий nofollow вместе с noindex для googlebot Googlebot прочтёт как noindex, nofollow ^[1]. Яндекс тоже учитывает общие директивы вместе с директивами для своих роботов: noindex в теге robots плюс nofollow в теге yandex дают noindex, nofollow ^[7].

Условие срабатывания: страницу нужно скачать

Робот увидит тег, только загрузив страницу. Если URL запрещён в robots.txt, Google не найдёт правила индексирования и показа и проигнорирует их ^[1]. Яндекс формулирует то же правило так: «Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует» ^[7]. Подробнее о файле — в статье robots.txt.

Директива начинает работать после того, как робот снова обойдёт страницу. Google предупреждает, что повторного визита Googlebot иногда приходится ждать месяцами ^[2]. Запросить повторное сканирование можно через инструмент проверки URL ^[2].

JavaScript

Тег можно добавить или изменить скриптом. Но если Google встречает noindex в исходном коде, он может пропустить рендеринг и выполнение JavaScript. Поэтому снятие noindex скриптом может не сработать так, как ожидалось. Если страница должна индексироваться, noindex не должно быть в исходном коде ^[3].

HTTP-заголовок X-Robots-Tag

Любую директиву мета-тега Google принимает и в HTTP-заголовке X-Robots-Tag ^[1]. Мета-тег и заголовок дают одинаковый результат; выбирать стоит то, что удобнее для сайта и типа контента ^[2]. Директивы можно передать несколькими заголовками или списком через запятую. Перед директивой можно указать робота; правило без имени действует на всех ^[1].

HTTP/1.1 200 OK
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: googlebot: noimageindex

Пример настройки из документации Google — закрыть от индексирования все PDF-файлы ^[1]:

# Apache (.htaccess или httpd.conf)
<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

# NGINX
location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Яндекс тоже поддерживает X-Robots-Tag и приводит примеры с noindex, nofollow и noarchive ^[7]. В таблице директив его Справки для разрешающих index, follow, archive и all в столбце X-Robots-Tag стоит прочерк ^[7].

Атрибут data-nosnippet

Чтобы скрыть из сниппета не всю страницу, а её часть, Google предлагает булев атрибут data-nosnippet. Google учитывает его на элементах span, div и section ^[1]. HTML должен быть валидным: незакрытый тег распространит запрет на последующий контент. Добавлять или снимать атрибут у существующих элементов скриптом Google не рекомендует ^[1]. Bing с октября 2025 года тоже поддерживает data-nosnippet и в своём анонсе говорит о любом HTML-элементе. Помеченный текст не попадает в сниппеты и ИИ-ответы, но страница индексируется как обычно ^[14].

Три примера

Примеры условные, адреса на домене example.com (пример).

а) Служебная страница: не индексировать, но ходить по ссылкам. Страница результатов внутреннего поиска https://example.com/search?q=…:

<meta name="robots" content="noindex, follow">

Страница не попадёт в выдачу, а ссылки с неё робот сможет использовать. Слово follow можно опустить: переход по ссылкам и так разрешён по умолчанию ^{[1; 7]}.

б) Статья, которой нужен развёрнутый сниппет и крупное превью:

<meta name="robots" content="max-snippet:-1, max-image-preview:large">

Для Google max-snippet:-1 означает, что длину текстового фрагмента выбирает сам Google, а large разрешает превью изображения шириной до области просмотра ^[1]. Bing поддерживает те же директивы с 2020 года; у него -1 означает отсутствие ограничения длины ^[12]. В Справке Яндекса эти директивы не описаны ^[7].

в) Противоречивые теги — например, шаблон CMS и SEO-плагин вывели два тега:

<meta name="robots" content="index, follow">
<meta name="robots" content="noindex">

Google применит более строгое правило, то есть noindex, и страница выпадет из выдачи ^[1]. В Справке Яндекса сказано: «Разрешающие директивы имеют приоритет в сочетании с запрещающими» ^[7]. По этому правилу Яндекс отдаст предпочтение index, и страница может остаться в его поиске (вывод из правила Справки). Одна разметка даёт в двух системах противоположный результат.

Виды и классификации

Директивы по поисковым системам

Таблица составлена по документации на 14.10.2026. «Не описано» значит, что документация системы директиву не упоминает, а не что она не поддерживается. Для Bing использованы только посты его блога для вебмастеров ^[12–14].

Группировка по назначению

Это рабочая группировка, а не официальная классификация какой-либо поисковой системы:

1. Индексирование: noindex, index, none, all, noimageindex.
2. Переход по ссылкам: nofollow, follow, none, all.
3. Представление в выдаче и ИИ-ответах: nosnippet, max-snippet, max-image-preview, max-video-preview, notranslate, noarchive, archive, nocache, атрибут data-nosnippet.
4. Время: unavailable_after.
5. Встраивание: indexifembedded.

Мета-тег среди других механизмов

Атрибут rel="nofollow" относится к одной ссылке, а директива nofollow в мета-теге — ко всем ссылкам страницы ^{[6; 8]}. Об атрибуте и его родственниках ugc и sponsored — в статье nofollow.

Как применяется на практике

Служебные и дублирующие страницы. noindex ставят, например, на страницы внутреннего поиска, корзину, сортировки и фильтры (пример). Яндекс подчёркивает, что запрещающие директивы (Disallow, noindex, элемент noindex) должны закрывать от индексирования только служебные и дублирующие страницы ^[9]. Как выбирать такие страницы, разбирается в статьях Дубли страниц и noindex.

Закрытые разделы. Мета-тег robots ничего не защищает: его соблюдают только добросовестные роботы ^[15]. Справка Яндекса рекомендует авторизацию, чтобы скрыть от индексирования главную страницу сайта, а для страниц, которые не должны быть доступны посторонним, — отдавать неавторизованным пользователям коды 404, 403 или 410 ^[8].

Файлы без HTML. PDF, изображения и видео закрывают через X-Robots-Tag на уровне сервера (см. примеры Apache и NGINX выше) ^[1].

Временный контент. По документации Google, unavailable_after запрещает показывать страницу в результатах поиска после указанной даты и времени, а после этой даты Googlebot заметно снижает частоту сканирования URL ^[1]. Пример синтаксиса из документации: <meta name="robots" content="unavailable_after: 2020-09-21"> ^[1]. Типичный сценарий применения — страницы акций и мероприятий с известной датой окончания (пример). В Справке Яндекса аналогичной директивы нет ^[7].

Сниппеты и превью для медиа. Издания управляют внешним видом карточки в выдаче через max-snippet, max-image-preview и max-video-preview у Google и Bing ^{[1; 12]}. Для Google Discover документация рекомендует крупные качественные изображения шириной не менее 1200 пикселей и указывает, что их показ включается настройкой max-image-preview:large (или использованием AMP) ^[19]. Часть текста (например, платный фрагмент или служебную плашку) можно исключить из сниппета атрибутом data-nosnippet ^{[1; 14]}.

Ограничение использования контента в ИИ-ответах. Подходы систем различаются сильнее всего:

CMS. Если на Wix, WordPress, Blogger и подобных платформах HTML нельзя править напрямую, директивы задают в настройках CMS ^{[1; 2]}.

Как измерить или проверить

Google Search Console.

• Инструмент проверки URL показывает поле «Indexing allowed?» («Индексирование разрешено?») и для проиндексированной версии, и в live-тесте ^[4]. Важная оговорка: если страница закрыта в robots.txt, поле всегда показывает «Yes», потому что Google не видит директиву noindex ^[4]. Запросить индексацию нельзя, если live-тест считает страницу неиндексируемой ^[4]. Для indexifembedded в сочетании с noindex инструмент сообщает, что страница будет проиндексирована только во встроенном виде ^[4].
• В «Отчёте об индексировании страниц» страницы с запретом получают статус «Страница содержит директиву noindex» (URL marked 'noindex') ^[5]. Статус «Проиндексировано, несмотря на блокировку в файле robots.txt» описывает обратную ситуацию: страница в индексе, хотя закрыта от сканирования. Если страницу нужно убрать из индекса, Google советует снять блокировку в robots.txt и использовать noindex ^[5].

Яндекс Вебмастер.

• «Проверка страницы» (раздел «Индексирование») показывает, какой код ответа получает робот, как выглядит контент страницы для робота и участвует ли страница в поиске. Для страниц на JavaScript есть отдельный пункт о рендеринге ^[10].
• В списке исключённых страниц запрет отображается статусом «Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex». Если страница должна быть в поиске, Яндекс советует удалить запрещающие директивы ^[9].

Lighthouse. Аудит «Page is blocked from indexing» ищет noindex в мета-теге и в заголовке X-Robots-Tag. Он проваливается, только если запрет действует для всех краулеров, а на правило для отдельного робота выдаёт предупреждение ^[16]. Документация аудита датирована 2019 годом: это описание инструмента, а не текущие правила поисковых систем.

Исходный код и заголовки. Мета-тег видно в исходном коде страницы, заголовки ответа — во вкладке «Сеть» инструментов разработчика или командой curl -I https://example.com/file.pdf. Исходный HTML и DOM после выполнения скриптов могут различаться, а изменение noindex скриптом Google может не учесть ^[3].

Как свести директивы вручную

Порядок составлен по документации ^{[1; 7]}:

1. Соберите все источники директив страницы: теги <meta name="robots">, теги с именем конкретного робота (googlebot, yandex) и заголовки X-Robots-Tag в ответе сервера ^{[1; 7]}.
2. Проверьте, не закрыт ли URL в robots.txt. Если закрыт, ни Google, ни Яндекс директивы страницы не учтут ^{[1; 7]}.
3. Для Google объедините общие правила и правила для googlebot: действует сумма запрещающих правил, а при противоречии — более строгое ^[1].
4. Для Яндекса учтите общие директивы вместе с директивами для yandex; в сочетании разрешающих и запрещающих приоритет у разрешающих ^[7].
5. Отметьте директивы, которые Google не использует, и indexifembedded без noindex ^[1].

Это интерпретация документации, а не гарантия; фактическое состояние страницы показывают Search Console и Яндекс Вебмастер ^{[4; 10]}.

Ошибки, ограничения и спорные вопросы

noindex вместе с Disallow. Главная логическая ловушка: страницу закрывают и в robots.txt, и мета-тегом. Робот не скачивает страницу, не видит noindex, и URL может остаться в выдаче ^{[1; 5; 7]}. Чтобы убрать страницу из поиска, её нужно открыть для сканирования и оставить noindex ^{[2; 5]}.

Забытый noindex. Запрет, оставшийся после разработки или включённый настройкой CMS, убирает из поиска нужные страницы (пример). Яндекс в таком случае советует удалить запрещающие директивы, а если запрет в robots.txt ставили не вы — выяснить подробности у хостинг-провайдера или регистратора ^[9].

Противоречивые теги. Дубли из шаблона и плагина — один из возможных источников конфликтов (пример). Правила разрешения противоположны:

MDN называет такое поведение неопределённым ^[15]; общего для всех систем правила нет.

Снятие noindex скриптом. Схема «noindex в исходном HTML, снятие скриптом» может не сработать: при noindex Google может пропустить рендеринг ^[3].

Ожидание мгновенного эффекта. Директива действует после повторного обхода, а он может занять месяцы ^[2]. Для срочного удаления Google отсылает к документации об удалении ^[2]; см. также noindex.

Устаревшие директивы. noarchive, nocache и nositelinkssearchbox Google не использует ^[1]. В текущей Справке Яндекса упоминаются только noindex, nofollow, none, noarchive, index, follow, archive и all ^[7].

noindex вместо canonical. Google не рекомендует использовать noindex, чтобы не дать странице быть выбранной канонической внутри одного сайта: такая директива полностью закроет страницу от поиска. Предпочтительное решение для этой задачи — аннотация rel="canonical" ^[18]. Подробнее — в статье Канонический адрес (canonical).

Спорное: nosnippet как отказ от ИИ-ответов. У Google один и тот же nosnippet убирает и обычный сниппет в выдаче, и использование контента как прямого источника для AI Overviews и AI Mode ^[1]. В спецификации Google ^[1] нет отдельной директивы «только для ИИ», поэтому издатель платит за отказ от ИИ-ответов видом своей карточки в поиске (вывод). Bing разводит эти задачи: noarchive и nocache влияют на Bing Chat, но страница остаётся в выдаче ^[13]. Яндекс решает задачу не мета-тегом, а правилом robots.txt для отдельного робота ^[8].

Правовой статус. Мета-тег robots — техническое указание роботам, а не юридический запрет: соблюдают его добросовестные роботы ^[15].

Правовой аспект

Техническая настройка поиска не заменяет решение о доступе к документу. Для закрытого материала нужен механизм, который действительно не отдаёт содержимое постороннему посетителю; RFC 9309 приводит аутентификацию как пример защиты, отдельной от правил для роботов. Здесь рассматривается техническое различие, а не правовая оценка конкретной публикации. ^[22]

Частые вопросы

Связанные термины

• noindex
• nofollow
• robots.txt
• Индексация
• Сканирование (краулинг)
• Сниппет
• Канонический адрес (canonical)
• Дубли страниц
• JavaScript SEO
• Google AI Overviews