Гугл не воспринимает Robots.txt

S
На сайте с 05.10.2010
Offline
2
513

Возникла проблема, что гугл не следует правилам robots. У меня блог на вордпрессе и запрещены к индексации категории, а он все-равно их проиндексировал. Может он после повторной проверки их всетаки выкинет?

И еще есть страницы в индексе, отдающие 404, как с ними быть? Выкинет их из поиска? С яндексом таких проблем нет...

K
На сайте с 31.01.2001
Offline
737
#1

Гугл не любит быстро выкидывать странички, он любит хранить инфу. Выкинет, но не скоро.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
alexlsd
На сайте с 17.09.2009
Offline
94
#2

Тоже небольшая проблема с индексацией категорий на моем сайте, индексирует страницы такого плана сайт/?cat=122/page/3/ соответственно пишет что не найдено, на самом деле страницы имеют вид сайт/?cat=122&paged=3 подскажите как в robots.txt запретить индексацию сайт/?cat=122/page/3/ а разрешить сайт/?cat=122&paged=3

alexlsd добавил 25-12-2010 в 11:59

как я понял Disallow:/?cat=*/page/*/ правильно ?

Мощные VDS сервера на SSD от 250р, аптайм 99,9%, за скидками и тестом писать в ЛС (http://www.ihor.ru/?from=67062)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий