robots.txt — текстовый файл в корне сайта, который подсказывает поисковым роботам, какие адреса можно сканировать, а какие нет. Он помогает не тратить ресурсы робота на служебные страницы, поиск по сайту, корзину и дубли с параметрами. Одна ошибка в этом файле может закрыть от поиска весь сайт, поэтому разберёмся в правилах.
Где лежит файл
Только в корне домена: https://example.com/robots.txt. Для каждого поддомена и протокола нужен свой файл — правила example.com не действуют на shop.example.com. Файл должен отдаваться с кодом ответа 200 и быть в кодировке UTF-8.
Основные директивы
User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /*?sort=
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml
- User-agent — для какого робота группа правил:
*— для всех,Googlebot,Yandex— для конкретных. - Disallow — запрещает сканировать адреса, которые начинаются с указанного пути.
- Allow — разрешает, даже если более общий путь закрыт.
- Sitemap — полный адрес карты сайта, можно указать несколько.
- Clean-param — директива Яндекса: какие параметры адреса не меняют содержимое страницы (например, UTM-метки), чтобы робот не считал такие адреса дублями.
В путях можно использовать * — любая последовательность символов — и $ — конец адреса: Disallow: /*.pdf$ закроет все PDF-файлы.
Какое правило сработает
Если правила пересекаются, Google и Яндекс применяют более длинное, то есть более точное. При Disallow: /catalog/ и Allow: /catalog/sale/ раздел распродажи останется открытым. Если правила одинаковой длины противоречат друг другу, обе системы выбирают разрешающее.
Робот использует одну группу правил — самую точную для себя. Если есть группа User-agent: Yandex, Яндекс не будет учитывать группу User-agent: *, поэтому общие запреты придётся продублировать.
Что обычно закрывают
- административную панель и страницы входа;
- внутренний поиск по сайту;
- корзину, оформление заказа, личный кабинет;
- дубли с параметрами сортировки, фильтров и сессий;
- технические страницы печати и сравнения.
Что закрывать не нужно: CSS, JavaScript и изображения. Без них поисковику сложнее понять, как выглядит страница и удобна ли она на смартфоне.
Устаревшие директивы
- Host — Яндекс перестал её учитывать в 2018 году. Главное зеркало сайта задаётся 301-редиректом.
- Crawl-delay — Google её никогда не поддерживал, Яндекс перестал учитывать в 2018 году. Скорость обхода для Яндекса настраивается в Вебмастере.
robots.txt не удаляет страницы из поиска
Запрет в robots.txt останавливает сканирование, но не гарантирует, что адрес исчезнет из индекса: если на страницу ведут ссылки, поисковик может показать её без описания. Чтобы убрать страницу из поиска, откройте её для сканирования и добавьте метатег <meta name="robots" content="noindex"> — робот должен увидеть этот тег, поэтому одновременно закрывать страницу в robots.txt нельзя.
Частые ошибки
Disallow: /для всех роботов после переноса сайта с тестового сервера — сайт полностью выпадает из поиска.- Пути без начального слэша (
Disallow: admin) — такие правила работают не так, как ожидается. - Кириллица в путях без кодирования — используйте URL-кодирование.
- Файл больше 500 КБ — Google учитывает только первые 500 КБ.
- Закрытые CSS и JS — страница выглядит для робота сломанной.
Как составить файл за минуту
В RobotsBuilder выберите готовый шаблон — для WordPress, интернет-магазина или с запретом AI-краулеров, — добавьте свои правила и адрес Sitemap. Инструмент подсветит ошибки: пути без слэша, пробелы, противоречащие правила, неполный адрес карты сайта. Готовый файл можно скачать и загрузить в корень сайта.
После публикации проверьте файл в отчёте robots.txt в Google Search Console и в разделе «Анализ robots.txt» Яндекс Вебмастера.
Что дальше
Когда робот знает, что сканировать, помогите ему понять содержимое страниц: добавьте микроразметку Schema.org и сделайте понятные адреса.
