Индексация rss фидов

romko13
На сайте с 04.05.2010
Offline
28
455

Здравствуйте. Посмотрел индексацию своего сайта в ПС google и увидел что там вдвое больше страниц в индексе, так как проиндексировались rss фиды на комментарии. Я их запретил в robots.txt, но они все равно участвуют в поиске, хотя в панели ВМ пишут что они запрещены к индексации.

Z2
На сайте с 07.06.2007
Offline
46
#1

Бывает что робота глючит и он игнорирует robots.txt.

Отборные ссылки навсегда (http://gogetlinks.net/?inv=6suszf) ||| Лучшее место для женского трафика (http://www.goodbody.ru/partner/;3292995;) ||| Качественные ссылки недорого (http://blogun.ru/inconsequentfhaedf.html) Здесь продвигают сайты (http://www.sape.ru/r.xRCPngCrgn.php)
XPraptor
На сайте с 15.10.2004
Offline
333
#2

Видимо гугл считает ваши комменты полезными шибко :) Он именно тогда игнорит, когда считает что контент уник ну и иногда еще по некоторым причинам.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий