Форум Поисковые системы Google

Удаление дубликатов в индексе через robots.txt

8
На сайте с 01.12.2010
Offline
19
8Deus
503

Добрый день!

Интернет магазин имеет раздел "/comment" - раздел для комментирования товара, в Google многие товары проиндексированы с "/comment" и без него.

Это очень плохо сказывается на ранжировании сайта в Google и трафика почти нет.

1) Строчка в robots.txt у

User-agent: Googlebot

Disallow: /comment

- результатов не дает, даже в панели управления Google когда я пишу запрос, который не закрыт в robots.txt полностью, имеющий в url "/comment" http://www.site.ru/catalog/24/massagniy_poyasa/122/comment , вебмастер пишет - Разрешено.

Как правильно настроить robots.txt для Googlebot, или вручную все страницы с "/comment" удалять, через панель?

2) В панели вебмастера Google во вкладке "Параметры URL" я добавил параметр "comment" и указал в Параметре сканирования "Никакие URL".

Правильно ли я понял, что теперь робот не будет обращать на такие страницы внимания?

R7
На сайте с 30.04.2008
Offline
264
Игорь
#1

попробуйте так:

Disallow: /comment/

Disallow: /comment

Disallow: */comment*/

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2

Если это пример: http://www.site.ru/catalog/24/massag...sa/122/comment

то так:

User-agent: Googlebot

Disallow: */comment

Roman77:
попробуйте так:

Disallow: /comment/
Disallow: /comment
Disallow: */comment*/

Попробуй азы robots.txt почитать.

Keep moving
На сайте с 20.10.2009
Offline
94
Keep moving
#3

Учтите, что гугл часто игнорирует robots

8
На сайте с 01.12.2010
Offline
19
8Deus
#4
kimberlit:
Если это пример: http://www.site.ru/catalog/24/massag...sa/122/comment
то так:

User-agent: Googlebot
Disallow: */comment

Спасибо большое, действительно работает, только как я понимаю, вручную все равно придется удалять все дубли из панели управления Google

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий