robots.txt ограничение количества коннектов для робота

M
На сайте с 28.02.2006
Offline
236
803

Уже неделю где то Yahoo! Slurp форум один долбит, порядка 150 коннектов постоянно. Как бы его утихомирить? Где то недавно проскакивала информация, но теперь не могу найти. Вроде бы можно в файле robots.txt поставить ограничение скажем в 10 коннектов. Но какой синтаксис незнаю.

K. Ermakov
На сайте с 10.12.2004
Offline
328
#1
mihas:
Вроде бы можно в файле robots.txt поставить ограничение скажем в 10 коннектов

Можно. Читайте: http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Цахес
На сайте с 15.03.2007
Offline
205
#2

Для Yahoo!Slurp есть такая деректива как - Crawl-delay. Значением дерективы должна быть цифра которая указывает время в секундах между обращениями робота к сайту.

Посмотрите также вот здесь. Может быть поможет.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
M
На сайте с 28.02.2006
Offline
236
#3

Спасибо, поставил задержку 10 секунд, посмотрим на результаты.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий