Robots.txt для WordPress

• Алексей
• Комментариев нет

Robots.txt – это файл содержащий в себе исключения для поисковых систем, иными словами указывает им те места куда ходить не надо. Данный файл располагается в корневой директории сайта и обычно является дополнением к карте сайте.

Можно выделить четыре основных поля данного файла:

1. User-Agent – это имя поисковой системы, для которой будут применяться нижеследующие правила;
2. Allow и Disallow – это поля, которые разрешают (запрещают) индексацию страниц или разделов сайта;
3. Host – в данном поле указывается основное зеркало сайта;
4. Sitemap – ссылка на карту сайта.

О том, каким должен быть robots.txt в сети ведется не мало споров, лично я для себя выбрал следующий не сложный вариант: