Проверка robots.txt
Загружает robots.txt по домену или прямой ссылке, проверяет синтаксис и показывает правила обхода.
Описание
Укажите домен (example.com) или полный адрес файла (https://example.com/robots.txt). Инструмент скачает файл, разберёт User-agent, Disallow, Allow, Sitemap, Host и Clean-param, покажет ошибки синтаксиса и дерево правил. Дополнительно можно проверить, разрешён ли конкретный URL роботу *. Ошибка в robots.txt способна закрыть от поиска весь сайт, поэтому файл стоит проверять после каждой правки.
Вопросы о robots.txt
Синтаксис директив, закрытые URL и ошибки файла.
Анализирует файл robots.txt и синтаксис директив. Показывает, закрыта ли страница от индексации для выбранного робота.
Другие инструменты
Смежные проверки из этой и соседних категорий
Генератор robots.txt
Создаёт корректный robots.txt по заданным правилам для разных поисковых роботов.
Проверка sitemap.xml
Проверяет карту сайта на ошибки формата XML и теги loc, lastmod, changefreq, priority.
Генератор sitemap.xml
Обходит сайт и формирует XML-карту сайта со всеми доступными страницами.
Проверка ответа сервера
Показывает HTTP-код ответа страницы (200, 301, 404, 500) и заголовки сервера.