Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильный robots.txt для нового сайта

12
interers
На сайте с 12.12.2012
Offline
19
interers
#11

В метах все закрывайте и точка )

Смотрите тут

T
На сайте с 06.04.2013
Offline
38
Tolerant
#12

Как-то так, юзаю всегда такой. проблем нет

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml
AF
На сайте с 01.04.2013
Offline
1
Alex_FMQ
#13

Обязательно обратите внимание на строку Disallow: /*?*

Если у вас есть урлы с вопросительными знаками, то ее нужно убрать.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий