Robots.txt для WordPress

• Алексей
• Комментариев нет

Robots.txt – это файл содержащий в себе исключения для поисковых систем, иными словами указывает им те места куда ходить не надо. Данный файл располагается в корневой директории сайта и обычно является дополнением к карте сайте.

Можно выделить четыре основных поля данного файла:

1. User-Agent – это имя поисковой системы, для которой будут применяться нижеследующие правила;
2. Allow и Disallow – это поля, которые разрешают (запрещают) индексацию страниц или разделов сайта;
3. Host – в данном поле указывается основное зеркало сайта;
4. Sitemap – ссылка на карту сайта.

О том, каким должен быть robots.txt в сети ведется не мало споров, лично я для себя выбрал следующий не сложный вариант:

# User-agent: *
# Disallow: /wp-admin/
# Disallow: /wp-includes/
# Disallow: /wp-trackback
# Disallow: /wp-feed
# Disallow: /wp-comments
# Disallow: /wp-content/plugins
# Disallow: /wp-content/themes
# Disallow: /wp-login.php
# Disallow: /wp-register.php
# Disallow: /feed
# Disallow: /trackback
# Disallow: /cgi-bin
# Disallow: /comments
# Disallow: *?s=
Sitemap: http://aliquis.ru/sitemap.xml