Гайды Подбор ключей

RobotsBuilder — генератор robots.txt

Группы правил, готовые шаблоны, проверка ошибок и скачивание файла robots.txt.

Правила

Sitemap
Полный адрес карты сайта, например https://example.com/sitemap.xml

robots.txt


              
Проверка

              
    
            
    
          
    
        
    

        
    
          
    Как пользоваться
    
          
    
            
    
              
    Шаги
    
              
      
                
    1. Выберите шаблон или настройте группы правил вручную.
      2. 
                
    2. Для каждой группы укажите роботов (User-agent) и пути Allow / Disallow.
      3. 
                
    3. Добавьте ссылку на Sitemap, проверьте замечания и скачайте файл.
      4. 
                
    4. Разместите robots.txt в корне сайта: https://ваш-домен/robots.txt.
      5. 
              
    
            
    
            
    
              
    Синтаксис путей
    
              
      
                
    • /admin/ — раздел и всё, что в нём.
      • 
                
    • * — любая последовательность символов: /*?sort=.
      • 
                
    • $ — конец адреса: /*.pdf$.
      • 
                
    • Пустой Disallow: разрешает всё. robots.txt управляет обходом, но не гарантирует исключение страниц из индекса.
      • 
              
    
            
    
          
    
        
    
        
    
  
    
    
    
      
    Что такое robots.txt и зачем он нужен
    
      
    robots.txt — текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно сканировать, а какие нет. С его помощью закрывают служебные страницы, поиск по сайту, корзину и дубли с параметрами, а также указывают путь к карте сайта.
    
      
    Файл управляет сканированием, но не гарантирует исключение страницы из индекса — для этого используют метатег robots со значением noindex. Не закрывайте CSS и JavaScript: без них поисковикам сложнее понять, как выглядит страница. После публикации проверьте файл в Google Search Console и Яндекс Вебмастере, а микроразметку для страниц подготовьте в SchemaBuilder.
    
    
    
    
    
      
    Частые вопросы
    
      
    Где должен лежать robots.txt?
    Только в корне домена: https://example.com/robots.txt. Для каждого поддомена нужен отдельный файл.
    Чем отличаются Allow и Disallow?
    Disallow запрещает сканирование пути, Allow разрешает. Если правила пересекаются, Google и Яндекс применяют более длинное, то есть более точное правило.
    Нужна ли директива Host?
    Нет. Яндекс перестал её учитывать в 2018 году, главное зеркало сайта задаётся 301-редиректом.
    Как запретить сбор данных для нейросетей?
    Выберите шаблон «Запретить AI-краулеры»: он добавит правила для GPTBot, CCBot, Google-Extended и других известных ботов. Выполнение правил зависит от владельца бота.
    
    
    
  
    

    
      
    
      
    
  
    
    
    
      
      Все 13 инструментов
    
    
    
    
  
    
    
    Главный инструмент
  
    
  
    Keyword Finder
    
  
    Сотни ключей из подсказок поисковиков: частотность, сложность, быстрые ключи зелёным и советы по каждой фразе.
    
  

    

    
  
    
    
    Техническое SEO
  
    
  
    SchemaBuilder
    
  
    8 типов Schema.org, динамическая форма, проверка JSON, копирование и скачивание файла.
    
  

    

    
  
    
    
    Техническое SEO
  
    
  
    URLBuilder
    
  
    Транслитерация кириллицы, выбор разделителя и массовая генерация slug из списка.
    
  

    

    
  
    
    
    Контент и тексты
  
    
  
    TextSEO
    
  
    Статистика текста, частотность слов и фраз, плотность ключевых слов и поиск повторов.
    
  

    
    
    
      
    Гайды по теме