Яндекс Вебмастер

Происхождение и история

21 декабря 2007 года Яндекс объявил об открытии Вебмастера для широкой аудитории. До этого доступ предоставлялся по приглашениям. В анонсе были названы сведения о структуре сайта, страницах с ошибками индексирования, внешних и внутренних ссылках, а также проверка файла robots.txt ^[6]. Это файл с указаниями поисковым роботам о доступе к разделам сайта; его проверка присутствует и в современном описании сервиса ^[1].

Такую дату следует понимать именно как открытие общего доступа. Она не обозначает день изобретения всех инструментов поисковой диагностики. Анонс показывает первоначальную задачу продукта: дать создателям сайтов сведения о том, как их ресурсы обрабатывает поиск ^[6]. Сегодня к этой задаче относятся также отчёты по запросам, уведомления и программное получение данных ^{[1; 3]}. Старые инструкции полезны как история, но названия и состав нужного отчёта следует сверять с текущей справкой.

Как сайт становится виден поиску

Поисковый робот — программа, которая загружает страницы. Индексирование включает их сохранение и обработку. Адреса робот узнаёт из ссылок и Sitemap — перечня страниц для поисковой системы. Затем алгоритмы отбирают страницы для поиска и формируют результаты по запросу ^[7].

Доступная страница ещё не обязательно загружена, а загруженная — включена в выдачу. Например, алгоритм может обнаружить дубли — одинаковые страницы. Участие в выдаче также не гарантирует высокого места: важно соответствие запросу, или релевантность ^[7].

Учебный пример: издательство разместило новую статью и открыло её в браузере. Так проверено, что читатель может получить страницу в этих условиях. Следующий вопрос — посещал ли её робот. После этого проверяют участие страницы в поиске. И лишь затем разбираются, по каким запросам она показывается. Если пропустить средний шаг, отсутствие высоких позиций легко ошибочно принять за техническую недоступность.

Для разных вопросов нужны разные сведения: «Статистика обхода» показывает посещение страниц роботом, «Страницы в поиске» — их участие и исключение, поисковые отчёты — показы и клики ^[7]. Учебная последовательность выше помогает выбрать проверку, но не задаёт обязательного срока прохождения всех этапов.

Как получить доступ

Сведения об индексировании могут быть конфиденциальными. Пользователь с доступом к сайту подтверждает управление и получает роль «Владелец». Остальным пользователям он может выдать необходимые права ^[2]. Название роли описывает доступ в сервисе, а не принадлежность организации или авторских прав на материалы.

Среди способов подтверждения документация описывает специальный HTML-файл, метатег на главной странице и TXT-запись в DNS. HTML-файл содержит выданный код и размещается в корневом каталоге — на верхнем уровне адресов сайта. Метатег представляет собой служебную запись внутри head, служебной части HTML-документа. TXT-запись добавляют в настройки DNS, системы доменных имён ^[2].

Адреса с www и без него различаются. Подтверждающие изменения Яндекс проверяет повторно: после удаления файла или записи подтверждение может быть утрачено ^[2]. Поэтому при смене шаблона сайта стоит включить проверку подтверждения в рабочий список.

Какие задачи решает сервис

Следующая группировка предложена редакцией для обучения. Она объединяет функции по вопросу специалиста и не воспроизводит меню целиком.

В практической работе одна проблема может потребовать нескольких разделов. Например, снижение переходов само по себе не сообщает, недоступны ли страницы или они стали реже показываться. Группировка помогает разделить вопросы и не пытаться объяснить весь результат одним общим показателем.

Вебмастер, Метрика и Search Console

Счётчик Метрики — код, который размещают на страницах сайта. При выполнении он передаёт сведения о странице и событиях, например переходах по ссылкам или отправке формы ^[9]. Поэтому поисковый клик и зарегистрированное посещение не обязаны совпасть: после клика сайт может оказаться недоступен, а код счётчика — отсутствовать или не успеть загрузиться ^[12].

Для сайта, работающего с обеими поисковыми системами, логично вести отдельные наблюдения в Вебмастере и Search Console. Google прямо указывает, что регистрация в Search Console не является условием появления в его поиске ^[5]. Сопоставлять удобно сами вопросы диагностики: обнаружена ли страница, есть ли проблемы обработки, какие запросы приводят людей. Переносить значения и правила одного отчёта на другой без проверки нельзя: сравнение сервисов не означает тождества их данных.

Как читать поисковую статистику

Показ означает появление ссылки в результатах поиска; потенциальное присутствие на неоткрытой пользователем следующей странице выдачи не считается показом. Клик — переход из результатов поиска на сайт. CTR, или доля кликов, показывает отношение числа кликов к числу показов в процентах ^[8].

Для одного и того же периода и набора строк расчёт имеет вид:

CTR = C / I × 100%,

где C — число кликов, I — число показов. Знаменатель здесь — число показов, а не число запросов или посетителей ^[8]. Учебный пример: при 1 000 показов и 40 кликах CTR равен 4%. Это не означает, что четыре процента всех жителей региона посетили сайт. При нуле показов отношение не вычисляется: нулевой CTR и отсутствие основы для расчёта — разные ситуации.

Средняя позиция также не является неизменным местом сайта. В течение дня ссылка может занимать разные позиции даже по одной фразе; сервис показывает усреднённое значение ^[12]. Если собственная проверка поиска дала другое место, сначала уточняют, что сравниваются одинаковые условия, а не немедленно объявляют отчёт ошибочным.

В текущей статистике запросов Яндекс учитывает органическую выдачу и динамические места. Последние — дополнительные места для объявлений Директа. Поэтому весь отчёт нельзя автоматически подписывать как исключительно бесплатные переходы ^[8]. Справка аналитики также ограничивает учёт показов и кликов первыми 50 позициями ^[12].

Для содержательного сравнения сохраняют регион, тип устройства и выбранную группу запросов: эти настройки предусмотрены статистикой ^[8]. Учебная ситуация: вчера специалист смотрел все устройства, а сегодня только телефоны. Даже верно переписанные числа ещё не описывают изменение одного и того же набора наблюдений. Сначала нужно выровнять выборку, затем обсуждать рост или снижение.

Что показывает отчёт внешних ссылок

Внешняя ссылка ведёт на сайт с другого ресурса. В текущей справке Вебмастера соответствующий раздел находится среди неработающих ссылок: он помогает найти случаи, когда переход ведёт на проблемный адрес. В таблице могут быть адрес страницы-источника, адрес назначения, текст ссылки, дата обнаружения и HTTP-статус ^[4]. HTTP-статус — код ответа сервера; здесь справка выделяет ошибки групп 4xx и 5xx.

Поэтому двадцать строк не означают, что на сайт существует всего двадцать ссылок. Отчёт посвящён определённому виду проблем, а его состав зависит от обнаружения ссылок роботом. Справка перечисляет и другие причины отсутствия записи: например, ссылка ведёт через промежуточное перенаправление или появилась недавно ^[4].

Учебный пример: после переноса архива несколько сторонних сайтов продолжают ссылаться на старый адрес одного исследования. Редактор группирует строки по адресу назначения и видит одну проблему, затронувшую несколько источников. Исправление проверяют переходом к нужному исследованию. Переход на главную страницу не решает ту же задачу читателя, даже если главная открывается.

Далее сопоставляют непосредственную проверку с последующим состоянием отчёта. Яндекс предупреждает, что после изменения HTTP-статуса информация исчезает через некоторое время ^[4]. Дата исправления и дата исчезновения строки могут различаться; это повод сохранить оба наблюдения, а не переписывать первое задним числом.

Как проверить исправление

Редакция предлагает вести небольшой журнал: адрес, исходная проблема, сделанное изменение, дата непосредственной проверки, дата повторного наблюдения в Вебмастере. Он позволяет ответить на два отдельных вопроса: устранена ли причина на сайте и увидела ли изменение поисковая система.

При исправлении ошибки или выполнении рекомендации в диагностике документация предлагает нажать «Я всё исправил» и дождаться перепроверки роботом. Для нарушений и безопасности описана отдельная отправка на проверку. Сообщение исчезает после успешной проверки; обновление информации в диагностике может занять несколько дней ^[11]. Нажатая кнопка, таким образом, фиксирует обращение на перепроверку, а не её положительный результат.

Учебный расчёт для журнала: из заранее составленного списка 20 проблемных адресов проверены и исправлены 16. Доля равна 16 / 20 × 100% = 80%. Это авторский показатель выполнения работ по данному списку. Он не измеряет восстановленную посещаемость и не означает исправления 80% всех проблем сайта. Если список был неполным, высокий процент выполнения этого ограничения не устраняет.

Что можно автоматизировать через API

Через API приложение отправляет запросы сервису и получает данные без ручного открытия каждой страницы ^[3]. Введение в документацию Вебмастера на дату проверки обозначает версию 4.1 и описывает обмен по HTTPS, по умолчанию в формате JSON — структурированном представлении данных ^[3]. HTTPS обеспечивает зашифрованное соединение между приложением и сервером ^[14].

В обзоре ресурсов перечислены получение списка сайтов и статистики, сведения о подтверждении прав, история индексирования, примеры страниц в поиске, постановка страниц на переобход и проверка состояния таких задач ^[10]. Это разные операции: отправить адрес на переобход не означает получить подтверждение его участия в выдаче.

Для работы от имени пользователя приложение проходит авторизацию через OAuth. Оно получает токен — значение, которое передаётся для разрешённого обращения к данным. Документация отдельно описывает ошибку 401 при обращении без токена ^[13]. Учебный пример: если ночная выгрузка получила эту ошибку, в таблице следует отметить неудачу получения данных. Записать вместо неё ноль страниц в поиске означало бы создать ложное падение показателя.

Перед регулярной выгрузкой полезно проверить один сайт: совпадают ли выбранный ресурс, период и смысл поля с задачей. Затем сохраняют параметры запросов и время получения. API ускоряет повторение проверки, но не устраняет необходимость различать ошибку доступа, пустой ответ и измеренный нулевой результат.

Ошибки и ограничения

Одна из логических ошибок при чтении отчётов — смешение результата действия и результата поиска. Успешное подтверждение прав даёт доступ к данным сервиса, переобход помогает сообщить об изменении, а участие страницы определяется дальнейшей обработкой ^{[2; 7; 10]}. Поэтому отчёт об исправлении должен называть проверенное событие, а не обещать вслед за ним позиции или продажи.

Другая логическая ошибка — искать единственную причину изменения трафика по одной диаграмме. Яндекс перечисляет среди возможных причин изменения спроса, конкуренции, алгоритмов и самих сайтов ^[7]. Учебное обнаружение неработающего архива подтверждает техническую проблему, но не доказывает, что она объяснила всю потерю переходов.

Наконец, полезно сохранять названия отчётов и дату выгрузки. Повторный отчёт помогает сравнить состояние, только когда понятно, какие именно данные сравниваются. Нулевое число найденных ошибок следует читать в пределах проверенной функции, а не как сертификат отсутствия любых недостатков сайта.

Частые вопросы

Связанные термины

• Google Search Console
• Яндекс Метрика
• Обратная ссылка (бэклинк)
• Анкор
• Ссылочная масса
• GEO (оптимизация под генеративный поиск)