Форум Поисковые системы Google

[Help me] Google игнорирует robots.txt на сайте

SeaBreeze
На сайте с 11.09.2005
Offline
253
SeaBreeze
506

На сайте в robots.txt прописано: 

User-Agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /category/*/*

Disallow: */trackback

Disallow: /*section_id=

То есть ссылки вида site.ru/&section_id=13/page/2/page/ не должны восприниматься поисковиком. А гугль все равно их индексирует.

Как быть в такой ситуации и закрыть индексацию /*section_id= ?

Web-Silver
На сайте с 02.05.2007
Offline
256
Web-Silver
#1

Можно попробовать в панели вебмастера Google: Конфигурация сайта --> Настройки --> Отрегулировать настройки параметров - и там добавить параметр section_id и сохранить настройки. У меня точно такая же проблема, но с параметром redirect_to у WordPress - в индексе уже 19k страниц, хотя должно быть от силы 1k. Сегодня только попробовал этот фокус, посмотрим на результат.

S
На сайте с 20.07.2008
Offline
26
svtim
#2
SeaBreeze:
На сайте в robots.txt прописано:

То есть ссылки вида site.ru/&section_id=13/page/2/page/ не должны восприниматься поисковиком. А гугль все равно их индексирует.

Как быть в такой ситуации и закрыть индексацию /*section_id= ?

Была та же проблема. Роботс боты google упорно игнорировали, "ковыряния" в панели не помогали пока не прописали на всех "лишних" страницах <meta name="googlebot" content="..., ..." /> с noindex и nofollow.

Все, что сказано хорошо - мое, кем бы до этого оно не было сказано! Мое, правда, до этого это говорил и Сенека
SeaBreeze
На сайте с 11.09.2005
Offline
253
SeaBreeze
#3

Webmaster Tools тоже не помогает: в нем указано, что страница &section_id=1/page/31 запрещена к индексации robots.txt, а в выдаче присутствует.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий