madoff

zexis:
Боты сапы в белом списке и их защита от ддос (анализирующая логии access.log) не банит.

Но для лимитов nginx нет белого списка.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
limit_req zone=lphp burst=10 nodelay;

zexis добавил 24.06.2011 в 23:56


Проблема в том, что плюс к ботам sape часто бывают ддос боты, которые нужно ограничивать.

Люди не делают более 2-4 запросов в секунду к динамическим страницам сайта.

Andreyka:
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.

zexis:
Администрирую сервер, на котором размещены сайты индексируемые ботом sape.ru.
В nginx стоит ограничение на количество запросов к динамическим страницам с одного IP.
Разрешено 2 запроса в секунду с одного IP с возможными пиками до 10 запросов.

Реализация в конфиге nginx.

limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
location / {
limit_req zone=lphp burst=10 nodelay;

Бот sape.ru делает в максимуме до 82 запросов в секунду.
Это зафиксировано у меня в логах.
Естественно в большинстве случаев получает ошибку 503.

Сапой занимаюсь не я, а другие люди. Я администрирую сервер.
Не первый раз уже вижу полное не понимание проблемы с их стороны.

1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)

2) считают, что сайт должен обслуживать до 50 запросов в секунду от их бота.

3) Уверяют, что никто кроме меня на скорость их бота не жалуется.

4) Уверяют, что снизить скорость бота невозможно, так как индексируется много сайтов. Я же считаю, что индексировать сайты можно параллельно и делать к каждому сайту запросы с меньшей частотой.

Разрешенные лимиты в nginx я поднял.
Сервер мощный, справится.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?

painkilla:
то есть, если на моём серваке 2 процессора, то показатель загрузки 1.0-2.0 вполне нормальное явление.
а какие, в таком случае, допустимые рамки значения показателя и какие критические ?

hostmaster:
что там было про "гарантии" и "античат" ? :))

http://krebsonsecurity.com/2011/06/antichat-hacker-forum-breach-reveals-weak-passwords/