Google и 301: глючит или борьба со спамом?

SM
На сайте с 07.06.2012
Offline
30
306

Уважаемые форумчане,

Немного истории:

Вначале недели (23го) в ВМТ получил сообщение о том, что его бот не может проиндексировать большое число страниц на сайте... И примеры страниц, многие из которых или давно редиректятся на другие страницы, или внутри тег robots=noindex.

В тот же день в ВМТ показало увеличение числа дублей. 99% из них - адреса одних и тех же старниц с и без index.html в конце УРЛа. На адресе без index.html стоит в nginx 301 на ту же страницу с index.html

Сначала я, проверив, что все редиректы стоят и теги корректно прописаны, решил, что это глюк гугла, который пройдет...

НО, в четверг (28го) число дублей увеличилось в 10 раз, количество проиндексированных страниц начало таять на глазах, и упал трафик вместе с конвертом, примерно в 2 раза, и я забеспокоился.

Более того, по запросу site:мой_сайт, в гугле все страницы продуктов без index.html и проверка страниц site:мой_сайт/моя_страница/index.html - возвращает пустой результат.

Вопрос: КАК гугл может добраться до страницы, которая 1) закрыта редиректом 2) если даже он не сработает, то скрипт страницы выдает 404?!

Или, гугл теперь работает как хочет и делает что хочет?

Могу предположить, что всплыла какая-то мега древняя база страниц-дублей, ранее не закрытых 301... Но, сайт за что наказывать и выкидывать из индекса нормальные страницы?

Есть у кого-то идеи, что произошло и как с этим бороться? На форуме у гугла ответа не получил.

Спасибо заранее за любые предложения и идеи.

---------- Добавлено 30.03.2013 в 19:01 ----------

Забыл указать, сайт для буржнета...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий