Мусор в индексе Гугла

greencoma
На сайте с 04.11.2009
Offline
83
613

Приветствую. Гугл проиндексировал кучу мусорных страниц сайта, несмотря на роботс.тхт. Так уже было раньше, я удалял их, но теперь они снова в индексе. Пациент - блог, теги закрыты, но при добавлении новой статьи новые теги обязательно лезут в индекс, так же как и страница комментариев к статье, адрес фида статьи и т.п. Естесственно, все это закрыто в роботс. Как доходчиво объяснить гуглу, что эти страницы не должны быть в индексе?

И еще. Сейчас удалил все мусорные урлы, но появился такой глюк: гугл находит около 230 страниц сайта (всего допущенных к индексации около 60). Далее, переходим на третью страницу выдачи - указывает найденных результатов уже 219, на четвертой - 200, на пятой - 190. А когда доходим до 6-й страницы, оказывается что в выдаче гугла всего 50~ урлов, все остальные страницы (7-14, которые изначально были) исчезают. Надеюсь, понятно объяснил. Как победить этот глюк? Понятное дело, что все скрипты и программы поверки определяют кол-во страниц как 230. Писать гуглоплатонам бесплезно. Буду признателен за помощь.

M
На сайте с 27.10.2006
Offline
111
#1
greencoma:
Как доходчиво объяснить гуглу, что эти страницы не должны быть в индексе?

Самое доходчивое - 404. И убрать все ссылки, ведущие на мусор, ибо они вредят сайту.

greencoma:
Как победить этот глюк?

Это не глюк, а особенность DB BigTable, которую Google использует. Исправлять Google это не будет, потому что это не нужно пользователям.

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.
-
На сайте с 04.11.2009
Offline
89
#2

404 или если они все таки нужны то мета тег noindex, если роботс он не слушается

а по поводу выдачи такой, у меня тоже самое. на первой странице 2к, а с каждой последующей меньше. и так до 1500

greencoma
На сайте с 04.11.2009
Offline
83
#3

Спасибо, попробуем 404.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий