Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помощь по robots.txt

[Удален]
297

Ребят подскажите все правильно составленно? Спасибо....а то я не могу понять видет яндекс мой сай или нет.....

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /tag

Disallow: */trackback

Disallow: */feed

Disallow: */comments

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /tag

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: URL моего сайта

sevan
На сайте с 03.03.2006
Offline
139
sevan
#1

Если секции для разных роботов не различаются - к чему яндекс выделять в отдельную?

А проверить - вот тут можно (Список URL добавить):

http://webmaster.yandex.ru/robots.xml

R.J.
На сайте с 02.12.2008
Offline
102
R.J.
#2

Запрос гуглю "robots.txt для wordpress" даст исчерпывающий ответ на ваш вопрос.

arcan78
На сайте с 23.01.2010
Offline
46
arcan78
#3

Можете посмотреть глазами поискового бота с помощью этого онлайн симулятора. Всегда пользуюсь именно им.

Проверка трастовости сайтов (http://xtool.ru/a-55610)
[Удален]
#4

Огромнешее Всем Спасибо!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий