Проверьте robots.txt

[Удален]
403

Составлял файл robots.txt для сайта на WordPress. Проверьте, пожалуйста, нет ли ошибок никаких. Может быть, добавить что-то?

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Allow: /wp-content/uploads/
Sitemap: http://example.tld/sitemap.xml

User-agent: Yandex
Allow: /
Sitemap: http://example.tld/sitemap.xml

User-agent: Googlebot-Image
Disallow:
Allow: /*

Заранее благодарен.

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#1

1.

http://help.yandex.ru/webmaster/?id=996567

если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.

т.е. /cgi-bin/, /wp-admin/ и т.д. Вы Яше разрешаете индексировать.

2. директива Allow: /wp-content/uploads/ не имеет смысла, так как вышестоящий каталог не запрещён к индексации.

3. директива Allow и Disallow для Yandex и Googlebot-Image бессмысленны (ничего не запрещать, всё разрешить) - такой порядок действует по умолчанию.

[Удален]
#2

Если я правильно все понял, то robots.txt должен иметь такой вид:

User-agent: *

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Sitemap: http://example.tld/sitemap.xml

Верно?

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#3

Имеет смысл указывать директиву host для Яши и ограничивать бота Яху по времени.

Пример:


User-agent: Slurp
Crawl-delay: 5
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Host: www.SITE.ru
Sitemap: http://www.SITE.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
[Удален]
#4

Благодарю за помощь.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий