madoff

Рейтинг
235
Регистрация
01.12.2009
Должность
administrator
Интересы
Linux Unix
I am terminator ;)

Прорвете включен forward или нет

zexis:
Боты сапы в белом списке и их защита от ддос (анализирующая логии access.log) не банит.

Но для лимитов nginx нет белого списка.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
limit_req zone=lphp burst=10 nodelay;

zexis добавил 24.06.2011 в 23:56


Проблема в том, что плюс к ботам sape часто бывают ддос боты, которые нужно ограничивать.

Люди не делают более 2-4 запросов в секунду к динамическим страницам сайта.

zexis

1) Вы не верно ставите в nginx,то как вы хотите делать, надо делать по другому.

2) Я бы сказал как но было бы смешно, так как статус у вас должен всё-таки быть, и банальные вещи вы должны видить.

3)-ГО, не дано.

+100500 Вот у кого нет ограничений по скорости на своих ботов, так это у яши

У яши есть кравн - что не у одних ботов (у других систем индексации) нету.

Andreyka:
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.

Защита, видемо зекуса срабатует и банит сапу :), хотя я помню он писал что стоит у него алгоритм который отличает ботов от flood Ботов.

zexis:
Администрирую сервер, на котором размещены сайты индексируемые ботом sape.ru.
В nginx стоит ограничение на количество запросов к динамическим страницам с одного IP.
Разрешено 2 запроса в секунду с одного IP с возможными пиками до 10 запросов.

Реализация в конфиге nginx.

limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
location / {
limit_req zone=lphp burst=10 nodelay;

Бот sape.ru делает в максимуме до 82 запросов в секунду.
Это зафиксировано у меня в логах.
Естественно в большинстве случаев получает ошибку 503.

Сапой занимаюсь не я, а другие люди. Я администрирую сервер.
Не первый раз уже вижу полное не понимание проблемы с их стороны.

1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)

2) считают, что сайт должен обслуживать до 50 запросов в секунду от их бота.

3) Уверяют, что никто кроме меня на скорость их бота не жалуется.

4) Уверяют, что снизить скорость бота невозможно, так как индексируется много сайтов. Я же считаю, что индексировать сайты можно параллельно и делать к каждому сайту запросы с меньшей частотой.

Разрешенные лимиты в nginx я поднял.
Сервер мощный, справится.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?

Яша похлеще досит :) подними ограничение да и всё.

не вижу что пишите, попробуйте пофлудить =) в Icq

или дайте своё icq !

пишите в Icq.

painkilla:
то есть, если на моём серваке 2 процессора, то показатель загрузки 1.0-2.0 вполне нормальное явление.
а какие, в таком случае, допустимые рамки значения показателя и какие критические ?

это всё исходит из ситуаций, бывает и ла 5, а сервер нормально работает.

hostmaster:
что там было про "гарантии" и "античат" ? :))

http://krebsonsecurity.com/2011/06/antichat-hacker-forum-breach-reveals-weak-passwords/

И что ? - школьники решили, брутануть аккки, все так умеют, и это не супер новость.

жестоко, однако.

Сложности пугают Андрей ?, понимаю, старость не радость =) ( это сказано в шутку )

Всего: 3250