Drupal 7 баг robots.txt последствия

H3
На сайте с 06.04.2009
Offline
38
991

Здравствуйте уважаемые!

Хочу поделится с Вами своим опытом, и задать вопрос. Недавно перевел сайт на Drupal 7, после чего слетели позиции в G. Была обнаружена недоработка файла роботс.тхт (не отключены отдельные страницы для комментариев http://drupalace.ru/lesson/oshibka-seoshnikov-v-drupal-7-kotoraya-mozhet-privesti-k-banu-saita - это не реклама, тут я нашел про свою проблему). Баг был исправлен. На данный момент 70% страниц, проиндексированных в гугле (site:мойсайт.ру) это:

Добавить новый комментарий - Мой сайт

мойсайт.ru/comment/reply/9

Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

*Поправка: не только комменты, есть еще страницы вида:

Войдите -Мой сайт

мойсайт.ру/user/login?destination=node/...form

Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

Вопрос следующий: должен ли гугл индексировать запрещенные в роботсах страницы, и может ли это быть причиной наложения санкций. Ну и как бороться, естественно (кажется, можно в гугловском вебмастере урлы удалить?).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий