Скорость робота Яндекса

jray
На сайте с 03.03.2006
Offline
99
1156

Кто-нибудь знает сколько запросов за единицу времени делает робот Яндекса обращаясь к серверу при сканировании сайта? А то админ пишет прогу для защиты от DDOS-атак. Я боюсь, что она роботов зарубит :)

Lix
На сайте с 23.09.2007
Offline
55
Lix
#1

В robots.txt можно указать:

Crawl-delay: 20

В этом случае, робот должен ждать 20 секунд между запросами. Поправьте, если не прав.

Get Rich Or Die Trying
Anarchist
На сайте с 23.07.2008
Offline
185
#2

Должен, но не факт, что будет. А по юзер-агенту не проще ли будет отлавливать?

NasMnogo-Mbl-Sila
На сайте с 16.11.2010
Offline
41
#3

Робот сайт не грузит... можно смело антидос ставить...

Тут выкупают женский трафик по лучшей цене! (http://ladycash.ru/?ref=3828 ) ERA Host – хостинг 5 Гб за 3$, бесплатная раскрутка (http://erahost.ru/?ref=17726)
G
На сайте с 16.02.2011
Offline
42
#4

ага, не грузит, как же)))

Яндекс может и нет, существует еще уйма роботов, тот же Twiceler к примеру.

лучше задавать диапазоны IP с которых могут приходить роботы, а остальное срезать антиддосом.

Prime-2
На сайте с 29.06.2010
Offline
78
#5

У меня яндекс вообще бывает очень редко, бывает его нет по 3-4 дня, средне около 2 дней. Что сделать? Трафик вообще упал с яндекса. Сайт не в бане.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий