Сборщик учебного robots.txt

Одна группа, простые ASCII-префиксы путей. Это не валидатор, не проверка сайта и не гарантия отсутствия URL в поиске. Ничего не отправляется в интернет.

Обязательно: латинские буквы, дефис, подчёркивание (до 100 символов) либо *. Пример: Googlebot.Один путь с / в начале на строку. Без пробелов, кириллицы, #, *, $, обратной косой черты. Процентная запись проверяется только по форме %HH, без проверки кодировки и существования адреса. Максимум 100 непустых строк, 2048 символов на путь и 20 000 символов на список. Пустое поле — без запретов.

Перед размещением проверьте замысел и адреса в официальных инструментах. Правило Disallow: / запрещает все пути для выбранной группы, если нет более специфичного разрешения. Выбор группы проверяйте по документации робота; Googlebot не наследует общую группу при наличии специальной. Сборщик не вычисляет разрешение URL и не проверяет сервер, кеш или индекс. Ограничения полей относятся только к этому инструменту.