Коды ответа сервера

Происхождение и история термина

Коды ответа — элемент протокола HTTP; их смысл задают спецификации IETF, а не работа отдельного исследователя.

HTTP/1.0 (1996). Деление на пять классов по первой цифре уже есть в RFC 1945 «Hypertext Transfer Protocol — HTTP/1.0» (май 1996 года, статус Informational; авторы T. Berners-Lee, R. Fielding, H. Frystyk) ^[2]. В нём перечислено 15 кодов: 200, 201, 202, 204, 301, 302, 304, 400, 401, 403, 404, 500, 501, 502, 503. Класс 1xx описан как «Not used, but reserved for future use», а 302 назывался «Moved Temporarily» — сейчас у этого кода имя «Found» ^[1], ^[2]. Уже в HTTP/1.0 было правило: клиент обязан понимать класс кода и трактовать неизвестный код как x00 своего класса ^[2].

HTTP/1.1 и дополнения. По данным RFC 9110, HTTP/1.1 появился в 1995 году и вышел в серии Standards Track в 1997 году (RFC 2068), затем был пересмотрен в 1999 году (RFC 2616) и в 2014 году (RFC 7230–7235) ^[1]. Некоторые коды вводились отдельными документами:

• RFC 6585 «Additional HTTP Status Codes» (апрель 2012 года, M. Nottingham, R. Fielding) добавил 428, 429, 431 и 511 ^[3];
• RFC 7725 (февраль 2016 года, T. Bray) ввёл код 451 для отказа в доступе «as a consequence of a legal demand» («вследствие юридического требования») ^[4]. В благодарностях автор называет Теренса Идена (Terence Eden) и Рэя Брэдбери (Ray Bradbury) ^[4].

Действующая редакция. Сейчас семантику кодов определяет RFC 9110 «HTTP Semantics» (июнь 2022 года, Internet Standard STD 97; редакторы R. Fielding, M. Nottingham, J. Reschke). Он заменил, в частности, RFC 7231 и RFC 7538 ^[1]. По RFC 9110, эта семантика общая для HTTP/1.1, HTTP/2 и HTTP/3 ^[1]. Новые коды регистрируются в реестре IANA «Hypertext Transfer Protocol (HTTP) Status Code Registry» по процедуре IETF Review ^[1], ^[5].

Суть и механизм

Где находится код

Клиент (браузер, робот, утилита) отправляет запрос; сервер отвечает строкой статуса с версией протокола, кодом и поясняющей фразой, затем заголовками и телом. Пример из RFC 9110 (ответ на запрос файла по HTTP/1.1, сокращено) ^[1]:

GET /hello.txt HTTP/1.1
User-Agent: curl/7.64.1
Host: www.example.com

HTTP/1.1 200 OK
Last-Modified: Wed, 22 Jul 2009 19:15:56 GMT
Content-Type: text/plain

Для отсутствующего адреса строка статуса выглядела бы как HTTP/1.1 404 Not Found (пример).

Что важно в устройстве кода

RFC 9110 определяет код как «three-digit integer code that describes the result of the request and the semantics of the response» («трёхзначный целочисленный код, описывающий результат запроса и смысл ответа») ^[1]. Из стандарта следует несколько правил.

• Значение имеет число, а не фраза. Поясняющие фразы — лишь рекомендации: их можно заменить «local equivalents» или вовсе опустить ^[1].
• Неизвестный код трактуется по классу. Клиент обязан понимать класс кода и считать нераспознанный код равным x00 своего класса. Пример из RFC 9110: получив неизвестный код 471, клиент поступает так, будто пришёл 400 (Bad Request) ^[1].
• Допустимы только значения 100–599. Ответ с числом вне этого диапазона клиенту следует обработать как ошибку класса 5xx ^[1].
• Промежуточные и окончательный ответы. На один запрос может прийти несколько промежуточных ответов 1xx и ровно один окончательный ответ другого класса ^[1].
• Кешируемость. Часть кодов RFC 9110 называет эвристически кешируемыми — например, 200, 301, 308, 404, 410. Кеш может повторно использовать такие ответы, если иное не указано явно ^[1].

Код есть в каждом ответе: по RFC 9110, сервер отвечает на запрос одним или несколькими сообщениями, «each including a status code» («каждое из которых содержит код состояния») ^[1]. Поэтому свой код получает любой запрошенный ресурс — страница, изображение, robots.txt, карта сайта. Для robots.txt у Google действуют особые правила (см. ниже) ^[8].

Как код использует поисковая система

По документации Google, содержимое ответа 2xx «may be considered for indexing» — может рассматриваться для индексирования, но без гарантии; по 3xx робот переходит (по умолчанию до 10 переходов); URL с 4xx (кроме 429) не индексируются, а «URLs that are already indexed and return a 4xx status code are removed from the index» — уже проиндексированные URL с 4xx удаляются из индекса; 5xx и 429 временно замедляют обход, а проиндексированные URL сохраняются, но «eventually dropped» — в итоге удаляются ^[7].

Яндекс в справке «Проверка ответа сервера» формулирует строже: если статус отличается от 200 OK, страница не может участвовать в результатах поиска ^[12]. В Яндекс Вебмастере такие страницы попадают в исключённые со статусом «Ошибка при загрузке или обработке страницы роботом — если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX» ^[14].

Виды и классификации

Пять классов (классификация RFC 9110)

Ошибками в строгом смысле являются только классы 4xx и 5xx. Поэтому выражение «коды ошибок сервера» как синоним всех кодов неточно, а 404 относится к ошибкам клиента, а не сервера ^[1]. MDN делит ответы на те же пять классов ^[6].

Коды, важные для SEO

Ячейки «Google» и «Яндекс» заполнены по официальной документации; где код не описан, это сказано прямо.

Подробнее о перенаправлениях — в статьях 301-редирект, 302-редирект и Цепочка редиректов; о странице ошибки — в Ошибка 404; о поиске ссылок на несуществующие адреса — в Битая ссылка.

Коды вне RFC 9110 (по реестру IANA)

Реестр IANA на дату последнего обновления (15.09.2025) содержит и коды, определённые в других документах ^[5]:

Код 104 (Upload Resumption Supported) зарегистрирован временно, со сроком до 13.11.2026 ^[5]. Коды 306 и 418 RFC 9110 помечает как «(Unused)». О 418 стандарт поясняет: его ввёл первоапрельский RFC 2324, и код так часто использовали в шутку, что он зарезервирован и сейчас другим приложениям не назначается ^[1].

Нестандартные коды и сообщения без кода

• Коды конкретного ПО. MDN предупреждает: если код отсутствует в его списке, это «non-standard response, possibly custom to the server's software» — нестандартный ответ, возможно, присущий программному обеспечению сервера ^[6]. По RFC 9110, числа 600–999 встречаются во внутренних сообщениях программ, но в HTTP недопустимы ^[1].
• Сообщения робота Яндекса. Инструмент «Проверка ответа сервера» показывает и проблемы, у которых нет HTTP-кода: «Не удалось подключиться к серверу», ответ не получен за три секунды, «Документ не содержит текст», документ больше 10 МБ, ошибка DNS. Среди них же — «некорректный код ответа»: Яндекс поддерживает только стандартные коды HTTP ^[12].
• Soft 404. Это не код протокола, а оценка Google: адрес отдаёт 2xx, но содержимое выглядит как ошибка, пустая страница или сообщение «страница не существует» ^[7], ^[10].

Как применяется на практике

Какой код обычно отдают в типовых ситуациях

Сводка рекомендаций Google и Яндекса; формулировки систем различаются.

Удаление страниц: Google и Яндекс

Инструмент Вебмастера «Удаление страниц из поиска» описан в справке неоднозначно. Примечание говорит, что робот удалит указанные страницы, «только если для этих страниц прописана директива Disallow» в robots.txt. Но статус «Отклонено» объясняется так: нет запрета на индексирование или ответ сервера отличается от 404, 403 или 410 ^[15]. Надёжнее сверяться с актуальной версией справки перед использованием инструмента (вывод).

Технические работы и перегрузка

Если сервер не справляется с роботом, Google советует временно отвечать кодами 500, 503 или 429 вместо 200 ^[9]. С 503 или 429 можно передать заголовок Retry-After — число секунд или дату ^[9]; RFC 9110 описывает тот же формат ^[1]. Срок важен: при ошибках на одном URL в течение нескольких дней он «may be dropped from Google's index» ^[9].

Яндекс Retry-After в ответе 429 не учитывает ^[11]. Для 503 справочник Яндекса советует при плановых работах быстро восстанавливать работу сервера ^[11].

Особый случай — robots.txt

Для файла robots.txt Google применяет отдельные правила ^[8]:

• 2xx — файл обрабатывается;
• 3xx — Google проходит не менее пяти переходов, затем считает файл отсутствующим (как при 404);
• 4xx, кроме 429, — как будто корректного robots.txt нет, то есть ограничений обхода нет;
• 5xx — «For the first 12 hours, Google stops crawling the site», но продолжает запрашивать robots.txt; следующие 30 дней Google использует последнюю рабочую версию файла; дальше всё зависит от того, доступен ли сайт в целом;
• ошибки DNS и сети трактуются как ошибка сервера.

Практический вывод: случайный 5xx на robots.txt может на время остановить сканирование всего сайта Google, даже если страницы отвечают 200 ^[8]. Подробнее о файле — в статье robots.txt.

Пример (условный, пример)

Сайт СМИ снимает с публикации устаревший материал. Варианты:

1. 410 — удалён навсегда, замены нет ^[10], ^[11].
2. 301 на материал по той же теме — если такая замена действительно есть ^[10], ^[11].
3. 200 с текстом «материал удалён» — soft 404: код говорит «успех», содержимое — «не найдено» ^[10]. О перенаправлении всего на главную — в статье 301-редирект.

Как измерить или проверить

Формулы у кодов ответа нет; проверяют фактический ответ сервера и отчёты поисковых систем.

• Яндекс Вебмастер → «Проверка ответа сервера». Указывается адрес и робот (под полем появляется его User-agent). Инструмент показывает HTTP-код, для HTTPS — статус сертификата. Поле If-Modified-Since позволяет проверить ответ 304. Справка предупреждает: ответ инструмента «может отличаться от реального ответа роботу», а реальный ответ виден в логах сервера ^[12].
• Яндекс Вебмастер → исключённые страницы. Страницы с ответом 3XX, 4XX или 5XX показываются со статусом «Ошибка при загрузке или обработке страницы роботом». После исправления, когда страница отвечает 200 OK, её можно отправить на переобход ^[14].
• Google Search Console. Отчёт «Индексирование страниц» (Page indexing) показывает ошибки soft 404; отчёт «Статистика сканирования» (Crawl Stats) — проблемы доступности хоста; инструмент проверки URL — ответ для отдельного адреса ^[10].
• Лог-файлы сервера. Показывают, какие коды реально получили роботы и посетители ^[12].
• Заголовки ответа. Код виден во вкладке «Сеть» инструментов разработчика браузера и в консольных HTTP-клиентах — в примере обмена из RFC 9110 запрос отправлен утилитой curl ^[1].

Метрики (вывод, не нормы поисковиков): доля URL по классам кодов, доля 5xx за период, число soft 404.

Мини-инструмент «Расшифровка кода ответа сервера»

Инструмент готовится к запуску. До запуска проверить код конкретной страницы можно в «Проверке ответа сервера» Яндекс Вебмастера ^[12].

Это справочник-расшифровщик: он работает в браузере и не отправляет запросов к сайтам. По трёхзначному коду или сценарию («страница работает», «переехала навсегда», «переехала временно», «удалена», «технические работы») он показывает класс и название кода по реестру IANA ^[5], смысл по RFC, который ввёл код ^[1], ^[3], ^[4], и поведение Google и Яндекса по таблице «Коды, важные для SEO» ^[7], ^[11].

Особые случаи:

• число вне диапазона 100–599 — недопустимый код; по RFC 9110 клиенту следует обработать такой ответ как ошибку 5xx ^[1];
• код в диапазоне, но не зарегистрированный в IANA, трактуется как x00 своего класса: например, 471 — как 400 Bad Request ^[1], ^[5]; Яндекс поддерживает только стандартные коды ^[12];
• 104 — временная регистрация в IANA до 13.11.2026 ^[5]; 306 и 418 — «(Unused)», зарезервированы ^[1].

Цепочки перенаправлений проверяет инструмент статьи Цепочка редиректов.

Ошибки, ограничения и спорные вопросы

• Soft 404. Страница сообщает, что материала нет, но отдаёт 200; к этой же группе Google относит пустые страницы и сообщения об ошибке с кодом 2xx ^[7], ^[10]. Решение зависит от ситуации: отдать 404/410, перенаправить на действительно похожую страницу или исправить страницу, которая не загрузилась для робота ^[10].
• Код 200 на любой адрес. Если несуществующие URL отвечают 200, каждый выглядит для робота отдельной страницей: отсюда soft 404 и дубли (вывод на основе ^[7], ^[10]; см. Дубли страниц).
• 302 вместо 301 при постоянном переезде. Для Google 302 — слабый сигнал, 301 — сильный ^[7]; Яндекс отводит 302 только временным ситуациям ^[11]. Подробности — в статьях 301-редирект и 302-редирект.
• Ошибка 5xx на robots.txt может остановить сканирование всего сайта Google на первые 12 часов ^[8].
• 404 или 410. RFC 9110 предпочитает 410, если сервер знает, что ресурс удалён навсегда, но не требует ставить такую метку всем удалённым ресурсам ^[1]. Google обрабатывает все 4xx, кроме 429, одинаково и удаляет ранее проиндексированные URL с такими кодами из индекса ^[7]; Яндекс удаляет страницы и при 404, и при 410 ^[15]. Распространённое мнение «410 удаляется из индекса быстрее» в официальных источниках, открытых для этой статьи, не подтверждено.
• 401 и 403 для «притормаживания» робота. Google прямо не рекомендует так делать; для снижения нагрузки предназначены 500, 503 и 429 ^[7], ^[9].
• Разный ответ людям и роботу. Если сервер отвечает по-разному в зависимости от IP-адреса или User-agent, проверка инструментом может не совпасть с тем, что получил робот; сверяться нужно с логами ^[12].

Правовой аспект

В протоколе предусмотрен 451: сервер сообщает об отказе в доступе вследствие правового требования. RFC 7725 рекомендует пояснить требование в содержимом ответа; отправителем может быть и посредник. Сам код не подтверждает ни существование запрошенного ресурса, ни его отсутствие. ^[19] Это технический способ сообщить причину отказа. Оценка правомерности ограничения требует изучения конкретного требования и применимого права; из трёх цифр такой вывод не следует.

Частые вопросы

Связанные термины

• 301-редирект
• 302-редирект
• Цепочка редиректов
• Ошибка 404
• Битая ссылка
• Индексация
• Сканирование (краулинг)
• Краулинговый бюджет
• robots.txt
• Лог-файлы сервера
• Яндекс Вебмастер / Google Search Console