Поисковый робот

Происхождение и история термина

Первые роботы. По данным учебника Маннинга, Рагхавана и Шютце, первым веб-краулером, по-видимому, был World Wide Web Wanderer Мэтью Грея, написанный весной 1993 года ^[16]. Олстон и Найорк уточняют, что Wanderer был написан на Perl и работал на одной машине ^[17].

Правила вежливости. В 1994 году Мартейн Костер (Martijn Koster) предложил способ, которым владелец сайта может сообщить роботам, какие разделы обходить не нужно, — Robots Exclusion Protocol, известный по имени файла robots.txt ^[15].

Краулер в архитектуре Google (1998). В статье Сергея Брина и Ларри Пейджа описана распределённая схема: URL-сервер раздаёт краулерам списки адресов, обычно работали около трёх краулеров, а на пике система скачивала больше 100 страниц в секунду с помощью четырёх краулеров ^[18]. Авторы назвали обход самой «хрупкой» частью системы («Crawling is the most fragile application») и отметили, что краулер порождал заметный поток писем и звонков от владельцев сайтов, часть которых не знала о протоколе исключений для роботов ^[18].

Научная линия. Описание архитектуры краулера в учебнике IR следует системе Mercator, созданной Найорком и Хейдоном (работы 2001–2002 годов) ^[16]. По обзору Олстона и Найорка, Mercator в 2001 году заменил краулер первого поколения в AltaVista ^[17].

Стандартизация. В сентябре 2022 года протокол исключений для роботов опубликован как стандарт IETF RFC 9309 (авторы — М. Костер, Г. Иллеш, Х. Целлер, Л. Сассман) ^[15].

ИИ-роботы. В последние годы появились отдельные токены для ИИ-сценариев: Google-Extended ^[2], GPTBot, OAI-SearchBot и ChatGPT-User ^[19], YandexAdditional ^[9]; в 2026 году Google добавил настройку Search Console для ИИ-функций Поиска ^[23].

Термины. В англоязычной документации понятия взаимозаменяемы: Google называет Googlebot краулером, роботом, ботом или пауком («crawler, robot, bot, or spider») ^[6], Олстон и Найорк — «web crawler (also known as a robot or a spider)» ^[17]. В русскоязычной научной литературе встречается сочетание «поисковый робот (краулер)» ^[20], а Яндекс в Справке использует слово «робот» («основной индексирующий робот») ^[9].

Суть и механизм

Цикл работы краулера

Классическая архитектура краулера описана в учебнике Маннинга и соавторов ^[16]:

Порядок шагов дан по тексту учебника ^[16]. Проверка robots.txt в цикле относится к фильтру URL, но учебник оговаривает: выполнять её нужно непосредственно перед загрузкой, потому что адрес может долго ждать в очереди, а robots.txt за это время может измениться; помогает кэш файлов robots.txt ^[16]. Подробнее о процессе обхода, его частоте и очерёдности — в статьях Сканирование (краулинг) и Краулинговый бюджет.

Обязательные и желательные свойства

Учебник выделяет два обязательных свойства краулера ^[16]:

• Устойчивость (robustness): робот должен справляться с «ловушками» (spider traps) — генераторами страниц, которые заставляют обходить один домен бесконечно; ловушки бывают и намеренными, и следствием ошибок разработки.
• Вежливость (politeness): робот обязан соблюдать явные и неявные правила сайтов о допустимой частоте обращений.

Желательные свойства по тому же источнику: распределённость, масштабируемость, производительность, приоритет «полезных» страниц (качество), свежесть и расширяемость ^[16].

Как робот решает, куда идти

Google. Центрального реестра всех страниц не существует, поэтому Google постоянно ищет новые адреса — этот процесс называется URL discovery ^[6]. Googlebot алгоритмически определяет, какие сайты обходить, как часто и сколько страниц скачивать, и обходит не все найденные страницы ^[6]. Страницы отрисовываются с выполнением JavaScript в свежей версии Chrome ^[6].

Яндекс. Описание технологии на сайте Яндекса помечено как архивное и может быть устаревшим, но принцип в нём изложен так: планировщик составляет маршрут обхода с учётом характеристик сайтов, например ссылочной популярности и частоты обновления; «паук» скачивает документы по маршруту, определяет их тип, кодировку и язык и передаёт в хранилище ^[14]. Там же различаются основной робот, индексирующий интернет в целом, и быстрый робот для только что опубликованных документов ^[14].

Технические параметры Googlebot

По документации Google (страница обновлена 3 февраля 2026 года) ^[3]:

• Googlebot Smartphone и Googlebot Desktop подчиняются одному токену Googlebot в robots.txt; для большинства сайтов Google индексирует в первую очередь мобильную версию контента.
• В среднем Googlebot не должен обращаться к сайту чаще, чем раз в несколько секунд.
• Googlebot сканирует первые 2 МБ файла поддерживаемого типа и первые 64 МБ PDF-файла; лимит применяется к несжатым данным.

Роботы и сборщики Google поддерживают HTTP/1.1 и HTTP/2 ^[1].

Виды и классификации

Классификация Google

Google делит свои программы на три группы ^{[1; 4]}:

• Общие краулеры (common crawlers) — например, Googlebot; при автоматическом обходе всегда соблюдают robots.txt ^[1].
• Специальные краулеры (special-case crawlers) — работают на конкретные продукты; например, AdsBot с разрешения рекламодателя игнорирует общую группу User-agent: * ^[1].
• Сборщики по запросу пользователя (user-triggered fetchers) — загружают страницу, когда это инициировал пользователь; поскольку запрос сделан человеком, они игнорируют правила robots.txt ^[4].

Основные токены общих краулеров Google ^[2]:

Колонка «robots.txt» заполнена по правилу для общих краулеров ^[1]; все перечисленные токены Google относит к общим краулерам ^[2].

Роботы Яндекса

Яндекс публикует в Справке Вебмастера таблицу роботов с отметкой, учитывает ли робот общие правила robots.txt (группу User-agent: *) ^[9]. Выборка из русской версии Справки на 11.10.2026 ^[9]:

Полный список в Справке длиннее: на 11.10.2026 в русской версии описано 45 роботов ^[9]. Списки дополняются, поэтому перед настройкой robots.txt его стоит открыть заново.

Правила адресации у Яндекса: при наличии группы User-agent: Yandex группа * роботами Яндекса не используется, а при наличии группы для конкретного робота (например, YandexBot) этот робот не использует ни Yandex, ни * ^[10]. Справка предупреждает, что некоторые роботы Яндекса могут игнорировать указания в robots.txt, в том числе для User-agent: Yandex, и советует прописывать для них конкретные User-agent ^[10].

Функциональная классификация (по Олстону и Найорку)

Обзор Олстона и Найорка ^[17] различает роботов по двум осям:

• Пакетный и инкрементальный обход. При пакетном (batch) обходе краулер периодически перезапускается; инкрементальный обход — непрерывный процесс, который концептуально никогда не заканчивается, а страницы скачиваются повторно.
• Всеохватный и ограниченный обход. Всеохватный (comprehensive) обход стремится к широкому охвату любого контента; ограниченный (scoped) сосредоточен на узком срезе веба. Частный случай — тематический, или фокусированный (focused), краулер, нацеленный на страницы по заданной теме.

Пример российской научной работы о специализированном краулере — статья А. А. Печникова и Д. И. Чернобровкина о «поисковом роботе (краулере)», который собирает исходящие гиперссылки с заданного набора тематических сайтов; его адаптивное поведение сформулировано как задача о многоруком бандите ^[20].

Поисковые, ИИ- и прочие боты

Как применяется на практике

Адресация к роботам в robots.txt

Синтаксис файла разобран в статье robots.txt; здесь — только примеры обращения к конкретным роботам.

Пример из Справки Яндекса ^[10]:

User-agent: YandexBot # будет использоваться только основным индексирующим роботом
Disallow: /*id=

User-agent: Yandex # будет использована всеми роботами Яндекса
Disallow: /*sid= # кроме основного индексирующего

User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin

Пример: закрыть контент от GPTBot и Google-Extended, не меняя доступ поисковых роботов. Это отдельные токены ^{[2; 19]}, а робот без своей группы переходит к группе * ^[15].

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow:

Этот файл не исключает сайт из AI Overviews и AI Mode: Google-Extended охватывает обучение и grounding в Gemini Apps и Vertex AI ^[2], а для ИИ-функций Поиска у Google есть отдельная настройка в Search Console, не связанная с robots.txt ^[22].

Пример: тестовая копия сайта, закрытая от всех добросовестных роботов (опасно, если файл попадёт на рабочий сайт).

User-agent: *
Disallow: /

Важно: запрет обхода не равен исключению из поиска. Google указывает, что блокировка обхода не мешает адресу появиться в результатах поиска ^[3], а запрещённый URL может быть проиндексирован, если на него ссылаются; чтобы страницы не было в Google, нужны noindex или защита паролем ^[7]. Подробнее — Мета-тег robots / noindex.

Управление нагрузкой

Google. Для срочного снижения нагрузки Google рекомендует отвечать роботу кодами 500, 503 или 429 вместо 200 на «пару часов или 1–2 дня», но не дольше: если ошибки на одном адресе держатся несколько дней, URL может выпасть из индекса ^[5]. С кодами 503 и 429 можно передать заголовок Retry-After ^[5]. Если отдавать ошибки нельзя, можно подать специальный запрос через Search Console; запросить увеличение скорости обхода нельзя ^[5].

Яндекс. Скорость задаётся в Вебмастере: «Индексирование» → «Скорость обхода»; по умолчанию включён режим «Доверять Яндексу», а заданное вручную значение считается рекомендованным ^[12]. Директиву Crawl-delay Яндекс не учитывает с 22 февраля 2018 года и предлагает вместо неё эту настройку ^[11]. Есть исключения: YandexAccessibilityBot настройку скорости обхода игнорирует ^[9].

ИИ-краулеры

OpenAI. Настройки для роботов OpenAI независимы («Each setting is independent of the others»): можно разрешить OAI-SearchBot для показа в поиске ChatGPT и запретить GPTBot для обучения ^[19].

Google. На 11.10.2026 у Google три механизма с разным охватом:

Настройку Search Console Google анонсировал 3 июня 2026 года, начав с части сайтов в Великобритании, а с 31 августа 2026 года она доступна всем сайтам в мире ^[23]. Сайты, которые от неё отказались, не получают трафика и показов из генеративных ИИ-функций Google ^[23]; исключение обычно вступает в силу за несколько дней ^[22]. Чтобы попасть в ИИ-функции Поиска, сайт должен быть включён в эту настройку, а страница — проиндексирована и допущена к показу со сниппетом ^[24]. Приложение Gemini в Справке о настройке не упоминается ^[22]. Страница Google «AI features and your website» обновлена 10 декабря 2025 года и этой настройки не описывает ^[21].

Яндекс. Справка описывает YandexAdditional как токен, который учитывается при обработке robots.txt для ограничения показа контента в быстрых ответах с YandexGPT и в ответах Поиска с Алисой; он применяется к страницам, проиндексированным основным роботом, и сам запросов для индексирования не делает ^[9].

Типовые ситуации

1. Поддельный Googlebot. Всплеск запросов с User-agent Googlebot, но DNS-проверка показывает, что адреса не относятся к доменам Google, — это сторонний бот; Google предупреждает, что User-agent часто подделывают ^[3].
2. Забытый Disallow: /. Правило с тестового домена попало на рабочий сайт, и добросовестные роботы перестают его обходить.
3. Закрытые ресурсы JavaScript-сайта. CSS и скрипты запрещены в robots.txt, и робот не может корректно отрисовать страницу. Google советует не блокировать ресурсы, без которых страницу трудно понять ^[7]; у Яндекса ресурсы для рендеринга загружает YandexRenderResourcesBot ^[9].

Как измерить или проверить

Логи сервера

Визиты роботов видны в журналах доступа веб-сервера по полю User-agent (см. Лог-файлы сервера). Яндекс советует не искать в логах конкретную версию браузера из строки User-agent: она меняется ^[9].

Проверка подлинности робота

Порядок, который описывают Google и Яндекс, по сути одинаков ^{[4; 9]}:

1. Взять из логов IP-адрес, с которого пришёл запрос.
2. Выполнить обратный DNS-запрос (reverse DNS) — получить имя хоста.
3. Проверить домен: для Google — googlebot.com, google.com или googleusercontent.com ^[4]; для Яндекса имя должно оканчиваться на yandex.ru, yandex.net или yandex.com ^[9].
4. Выполнить прямой DNS-запрос для полученного имени и убедиться, что он возвращает исходный IP-адрес.

Пример из документации Google ^[4]:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Различия подходов Google и Яндекса:

Отчёты поисковых систем

• Google Search Console — отчёт «Статистика сканирования» (Crawl Stats) в настройках ресурса: общее число запросов, объём скачанных данных, среднее время ответа, разбивка по кодам ответа, типам файлов, цели обхода и типу Googlebot; доступен для ресурсов корневого уровня ^[8].
• Яндекс Вебмастер — отчёт «Статистика обхода» («Индексирование» → «Статистика обхода»): обойдённые страницы с датой обхода и кодом ответа, история обхода по кодам ответа; данные обновляются ежедневно ^[13].

Рабочие показатели

Единой формулы нет. По логам и отчётам смотрят число запросов робота в сутки, распределение кодов ответа (200, 3xx, 4xx, 5xx) и время ответа сервера ^{[8; 13]}; это рабочие показатели, а не официальная метрика качества.

Ошибки, ограничения и спорные вопросы

• «Робот оценивает и ранжирует сайт». Робот скачивает страницы и передаёт текст и ссылки индексатору ^[16]; решение о показе и позиции принимается на следующих этапах (см. Индексация, Ранжирование).
• «robots.txt защищает сайт». RFC 9309 говорит, что эти правила — не форма авторизации доступа («not a form of access authorization») ^[15]. Для закрытых файлов Google советует другие способы, например защиту паролем на сервере ^[7].
• «Закрыл в robots.txt — страница пропала из поиска». Для Google это не так ^{[3; 7]}. В использованной Справке Яндекса такого правила нет; переносить на Яндекс выводы из документации Google не следует.
• «Закрыл Google-Extended — сайт исчез из AI Overviews». Нет: этот токен касается обучения и grounding в Gemini Apps и Vertex AI ^[2], а ИИ-функции Поиска управляются настройкой Search Console ^[22].
• Доверие строке User-agent. И Google, и Яндекс предлагают проверку через DNS, потому что User-agent подделывают ^{[3; 9]}.
• Блокировка CSS и JavaScript. Мешает роботу понять страницу ^[7].
• Долгие ответы 503 «чтобы робот не мешал». Через несколько дней ошибок URL может выпасть из индекса Google ^[5].
• Контент за авторизацией. Страницы, требующие входа, могут быть недоступны роботу ^[6].
• Спорный вопрос: пускать ли ИИ-краулеров. Одна позиция: закрытие токенов для обучения ограничивает использование контента в генеративных моделях ^{[2; 19]}. Другая: отказ от ИИ-поиска сокращает видимость — сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT (хотя могут появляться как навигационные ссылки) ^[19], а сайты, отключившие ИИ-функции в Search Console, не получают из них трафика и показов ^[23]. Поскольку настройки OpenAI независимы ^[19], а Google-Extended и настройка Search Console не влияют на обычную выдачу Google ^{[2; 22]}, эти решения можно принимать по отдельности. Единой отраслевой рекомендации нет.

Частые вопросы

Связанные термины

• Сканирование (краулинг)
• Индексация
• Поисковая система
• Краулинговый бюджет
• robots.txt
• Мета-тег robots / noindex
• Лог-файлы сервера
• Рендеринг страниц / JavaScript SEO
• Яндекс Вебмастер / Google Search Console
• Коды ответа сервера