Правильно ли составлен робот?

ВА
На сайте с 03.09.2013
Offline
41
562

User-agent: *

Disallow: /admin

Disallow: /cache

Disallow: /niks

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /index.php?route=account

Disallow: /index.php?route=account/account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /index.php?route=product/search

Disallow: /index.php?route=information/contact/captcha

Disallow: /index.php?route=information/information&information_id=

Disallow: /index.php?route=account/login

Disallow: /*route=account/

Disallow: /*route=account/login

Disallow: /*route=checkout/

Disallow: /*route=checkout/cart

Disallow: /*route=affiliate/

Disallow: /*route=product/search

Disallow: /*?sort=

Disallow: /*?sort

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*?order

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?manufacturer

Disallow: /*?keyword

User-Agent: Yandex

Sitemap: http://kuzzap.ru/Sitemap.xml

User-Agent: Googlebot

Sitemap: http://kuzzap.ru/Sitemap.xml

Host: kuzzap.ru

sorbena
На сайте с 29.09.2013
Offline
2
#1

Здесь, User-Agent: Yandex, если есть желание можно продублировать, что написано здесь User-agent: *

Sitemap нужно использовать один раз

Это лишнее: User-Agent: Googlebot

Sitemap: http://kuzzap.ru/Sitemap.xml

ВА
На сайте с 03.09.2013
Offline
41
#2
sorbena:
Здесь, User-Agent: Yandex, если есть желание можно продублировать, что написано здесь User-agent: *
Sitemap нужно использовать один раз
Это лишнее: User-Agent: Googlebot
Sitemap: http://kuzzap.ru/Sitemap.xml

Просто сайт совсем индексироваться не хочет, вот думаю может в роботе не то заблокировал) щас униканизировал фотки немного, попробую еще описания к товарам в сеогенераторе намутить..

sorbena
На сайте с 29.09.2013
Offline
2
#3

Тогда конкретные страницы можно здесь проверить http://webmaster.yandex.ru/robots.xml . В гугле тоже такая проверка в вебмастере.

piratos
На сайте с 18.04.2010
Offline
99
#4

Вопрос для общего развития:

а что дает такой развернутый роботс против стандартного на 3 строчки?

ОТЛИЧНЫЙ ХОСТИНГ от ЛИДЕРОВ индустрии (https://my.adminvps.ru/aff.php?aff=647) - хостинг: Германия, Голландия, Россия, США!
demon2005
На сайте с 06.02.2010
Offline
173
#5

piratos, меньше дублей, например

Машины должны работать. Люди должны думать. (Девиз компании "IBM") Хостинг ( http://goo.gl/em6I5 ), рекомендую. Код на скидку 965VI5O60E Выгодно купить/продать сайт ( http://www.telderi.ru/?pid=c0fb22 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий