Робот сильно грузит хостинг

V2
На сайте с 28.06.2008
Offline
106
396

Доброго времени суток. Ситуация такая, на хостинге 20 сайтов, раньше на 10 сайтах был другой движок, только 2 сайта из них сильно индексирует робот гугл, при этом постоянно ходит на уже несуществующие страницы предыдущего двига, в роботсе их исключил, в WMT поставил задержку сканеру больше 2-х мин. Один хрен как грузит хостинг так и грузит. Как тормознутому роботу объяснить чтобы вообще перестал ходить по этим страницам? Ситуация длится больше 2-х недель. Заранее спасибо за ответы.

numer482
На сайте с 06.07.2011
Offline
44
#1

Курите тему - robots.txt (там возможно ошибка)

Flobus
На сайте с 20.09.2011
Offline
20
#2

Если у вас задержка 2 мин, как он может сильно шрузить хостинг? Может дело в хостинге?

V2
На сайте с 28.06.2008
Offline
106
#3

Перестал часто ходить, надо было просто подождать немного после своих действий.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий