Робот Яндекс и robots.txt

S
На сайте с 06.05.2008
Offline
57
610

На сайте формируются URL такого типа sait.ru/goods.php?id=11&cat=3&idw=4144

Посмотрел по каким страницам ходит робот Яндекса и заметил такую вещь, что помимо страниц, которые указаны выше он еще посещает страницы .sait.ru/goods.php?id=11].

На сайте URL, такого типа, не формируются нигде sait.ru/goods.php?id=11, так и не разобрался как он нашел такие адреса. Внешних ссылок нет таких.

Вопрос , заключается в том как запретить индексировать URL типа, sait.ru/goods.php?id=11.

Рыболовный интернет-магазин BigFish (http://bigfish-shop.biz/)
siv1987
На сайте с 02.04.2009
Offline
427
#1

User-agent: *

Allow: /goods.php?id=*&

Disallow: /goods.php?id=

Можно задать более жесткую проверку - *&cat=, можно оставить так

S
На сайте с 06.05.2008
Offline
57
#2
siv1987:
User-agent: *
Allow: /goods.php?id=*&
Disallow: /goods.php?id=

Можно задать более жесткую проверку - *&cat=, можно оставить так

Супер, спасибо

scva добавил 18.09.2011 в 22:45

Вопрос номер 2

Каким способом можно узнать, как Яндекс перешел на эти ссылки sait.ru/goods.php?id=1111

Я написал скрипт, который выбрал все ссылки сайта, но и этот скрипт не сформировал мне URL, типа

sait.ru/goods.php?id=1111

arkadiy_a
На сайте с 11.06.2008
Offline
82
#3
scva:

Вопрос номер 2
Каким способом можно узнать, как Яндекс перешел на эти ссылки

Сорри, по вопросу ответить не могу.

Но по идее самый правильный вариант дубли отсеивать через canonical (если движок такое позволяет, или же его несложно допилить).

Яндекс осилил с некоторых пор в вебмастере заносить такие дубли в список исключенных страниц.

S
На сайте с 06.05.2008
Offline
57
#4
arkadiy_a:

Но по идее самый правильный вариант дубли отсеивать через canonical (если движок такое позволяет, или же его несложно допилить).

Попробую, спс

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий