Проверка файла robots.txt

1000

Проверяю, насколько правильно составлен robots.txt

Категория:

Описание

Проверяю, насколько правильно составлен robots.txt

  • Размер файла не должен превышать 32 кб
  • Файл должен присутствовать в корневой директории site.ru/robots.txt)
  • Синтаксис директив должен быть корректен
  • Доступность файлов отвечающих за отображение
  • Проверить работу правил в Вебмастере (доступность, закрытость прописанных путей)
  • Закрыты страницы сортировок и фильтров
  • Отбрасываются ненужные параметры
    Корректность директив для разных роботов
  • Случайно закрыты важные страницы
  • Инструкции отдельно для разных поисковиков (если есть смысл)
  • Результаты поиска по сайту закрыты от индексации