Блокировка паука

S9
На сайте с 12.02.2008
Offline
0
878

Нужен совет,

Некоторые не слишком радивые поисковики пытаются выкачать сайт с частотой обращения 70 страниц в секунду, что, соответственно, создает сильные тормоза.

Как правильно умерить аппетиты, но не отбить охоту заходить вообще? Какой код ошибки отдавать при превышении определенных лимитов?

Igorrok
На сайте с 28.08.2007
Offline
117
#1

Для гугла можно притормозить его в панеле вебмастера..

Истина где-то рядом...
Цахес
На сайте с 15.03.2007
Offline
205
#2
STD19:
Как правильно умерить аппетиты, но не отбить охоту заходить вообще?

Некоторые, как вы выражаетесь, не слишком радивые поисковики (Yahoo и MSN) поддерживают дополнительную инструкцию для robots.txt - Crawl-delay, которая позволяет указывать минимальный интервал между запросами робота к сайту.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий