zexis: Администрирую сервер, на котором размещены сайты индексируемые ботом sape.ru.
В nginx стоит ограничение на количество запросов к динамическим страницам с одного IP.
Разрешено 2 запроса в секунду с одного IP с возможными пиками до 10 запросов.
Бот sape.ru делает в максимуме до 82 запросов в секунду.
Это зафиксировано у меня в логах.
Естественно в большинстве случаев получает ошибку 503.
Сапой занимаюсь не я, а другие люди. Я администрирую сервер.
Не первый раз уже вижу полное не понимание проблемы с их стороны.
1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)
2) считают, что сайт должен обслуживать до 50 запросов в секунду от их бота.
3) Уверяют, что никто кроме меня на скорость их бота не жалуется.
4) Уверяют, что снизить скорость бота невозможно, так как индексируется много сайтов. Я же считаю, что индексировать сайты можно параллельно и делать к каждому сайту запросы с меньшей частотой.
Разрешенные лимиты в nginx я поднял.
Сервер мощный, справится.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?
Яша похлеще досит :) подними ограничение да и всё.
painkilla: то есть, если на моём серваке 2 процессора, то показатель загрузки 1.0-2.0 вполне нормальное явление.
а какие, в таком случае, допустимые рамки значения показателя и какие критические ?
это всё исходит из ситуаций, бывает и ла 5, а сервер нормально работает.
Прорвете включен forward или нет
Боты сапы в белом списке и их защита от ддос (анализирующая логии access.log) не банит.
Но для лимитов nginx нет белого списка.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
limit_req zone=lphp burst=10 nodelay;
zexis добавил 24.06.2011 в 23:56
Проблема в том, что плюс к ботам sape часто бывают ддос боты, которые нужно ограничивать.
Люди не делают более 2-4 запросов в секунду к динамическим страницам сайта.
zexis
1) Вы не верно ставите в nginx,то как вы хотите делать, надо делать по другому.
2) Я бы сказал как но было бы смешно, так как статус у вас должен всё-таки быть, и банальные вещи вы должны видить.
3)-ГО, не дано.
+100500 Вот у кого нет ограничений по скорости на своих ботов, так это у яши
У яши есть кравн - что не у одних ботов (у других систем индексации) нету.
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.
Защита, видемо зекуса срабатует и банит сапу :), хотя я помню он писал что стоит у него алгоритм который отличает ботов от flood Ботов.
Администрирую сервер, на котором размещены сайты индексируемые ботом sape.ru.
В nginx стоит ограничение на количество запросов к динамическим страницам с одного IP.
Разрешено 2 запроса в секунду с одного IP с возможными пиками до 10 запросов.
Реализация в конфиге nginx.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
location / {
limit_req zone=lphp burst=10 nodelay;
Бот sape.ru делает в максимуме до 82 запросов в секунду.
Это зафиксировано у меня в логах.
Естественно в большинстве случаев получает ошибку 503.
Сапой занимаюсь не я, а другие люди. Я администрирую сервер.
Не первый раз уже вижу полное не понимание проблемы с их стороны.
1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)
2) считают, что сайт должен обслуживать до 50 запросов в секунду от их бота.
3) Уверяют, что никто кроме меня на скорость их бота не жалуется.
4) Уверяют, что снизить скорость бота невозможно, так как индексируется много сайтов. Я же считаю, что индексировать сайты можно параллельно и делать к каждому сайту запросы с меньшей частотой.
Разрешенные лимиты в nginx я поднял.
Сервер мощный, справится.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?
Яша похлеще досит :) подними ограничение да и всё.
не вижу что пишите, попробуйте пофлудить =) в Icq
или дайте своё icq !
пишите в Icq.
то есть, если на моём серваке 2 процессора, то показатель загрузки 1.0-2.0 вполне нормальное явление.
а какие, в таком случае, допустимые рамки значения показателя и какие критические ?
это всё исходит из ситуаций, бывает и ла 5, а сервер нормально работает.
что там было про "гарантии" и "античат" ? :))
http://krebsonsecurity.com/2011/06/antichat-hacker-forum-breach-reveals-weak-passwords/
И что ? - школьники решили, брутануть аккки, все так умеют, и это не супер новость.
жестоко, однако.
Сложности пугают Андрей ?, понимаю, старость не радость =) ( это сказано в шутку )