Форум Поисковые системы Яндекс

Помогите с роботом

Flobus
На сайте с 20.09.2011
Offline
20
Flobus
474

Добрый день.

Прошу помочь мне разобраться с файлом robots.txt

Собственно, вот файл, который я разместил:

User-agent: Yandex

Disallow: /shop/cart/$

Disallow: /?sort=*

Disallow: /search/

Disallow: /cart/

Disallow: /offset*

Disallow: /auxpage_newgoods/

Disallow: /shop/

Host: www.site.ru

User-agent: *

Disallow: /shop/cart/$

Disallow: /?sort=*

Disallow: /search/

Disallow: /cart/

Disallow: /offset*

Disallow: /auxpage_newgoods/

Disallow: /shop/

Sitemap: http://www.site.ru/sitemap.xml

Не могли бы вы объяснить, почему этот робот не запрещает к индексации следующие страницы:

http://www.site.ru/auxpage_newgoods

http://www.site.ru/category/goldwell/offset36/

http://www.site.ru/category/goldwell/?sort=name&direction=ASC

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Потому что /auxpage_newgoods/ не является подстрокой /auxpage_newgoods

Потому что вместо /offset* нужно написать /*offset

и т.п.

Откройте FAQ этого раздела, изучите ссылки самостоятельно.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
nik_kent
На сайте с 05.02.2008
Offline
193
nik_kent
#2

Чтобы запрещал, строчки:

Disallow: /?sort=*

Disallow: /offset*

Disallow: /auxpage_newgoods/

меняем на:

Disallow: /*?sort=

Disallow: /*offset

Disallow: /auxpage_newgoods

P.S. Опередили)

С уважением, Николай.
Flobus
На сайте с 20.09.2011
Offline
20
Flobus
#3

Спасибо за помощь! Сейчас буду исправлять.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий