Вы имеете в виду limit_req_status ? Так она ж вроде только сообщает нгихс какую ошибку выводить на прерывание запроса. Как мне это может подойти?
Можно ли в мап совместить ошибку и юзерагент? Хочу в отдельный лог собирать потенциально хороших ботов получивших 503 ошибку
по типу
То что не знаю как прописать выделил жирным---------- Добавлено 26.01.2017 в 15:55 ----------Наверное нужно сначала объявить как-то error_page 503 $error_page; но что дальшеделать не врублюсь
А лимиты на подлючения как они обходят? Со скорость 7 запросов в мин. вы будите парсить мой сайт пару мес.
Но в целом я с вами согласен - захотят спарсить, купят прокси.
Если будут получать ошибку, начнут разбираться, выявят где спотыкаются и добавят это условие. Нужно будет - будут и картинки со стилями загружать....
Я не спорю что спарсить все что угодно. Моя защита - это тормоз автоботов :)))
У меня тоже сам серв делает много запросов, я его добавил в белый список и все ок.
Вот мой рабочий конфиг (белый лист работает) - там у меня нгихс + пхп фм.
У вас там еще и апач да? Вот тут описана ваша ошибка
https://habrahabr.ru/company/netangels/blog/149302/
Это одномоментный/не лимитируемый всплеск. Как бы лично в моей голове не вяжется понятие "лимит" и такие всплески :)))) Не каждый хороший сервер такое переварит :)---------- Добавлено 26.01.2017 в 09:11 ----------
Неверно - ошибка будет 503
Что это за треш? :)))))) Вы понимаете значение этих цифр?
Вот мое решение /ru/forum/comment/14885499
Хорошаяя идея только немного так
+ в сервер
Теперь у меня HTTP1.0 отрезан
На HTTP2.0 ботов пока мизерное кол-во (не знаю может и нет совсем)
и есть отдельный лог HTTP1.1 в котором нет запросов от поисковых ботов.
Вот в этом логе еще достаточно ботов, прошедних основной фильтр.
Теперь его по крону можно анализировать (на предмет айпи которые не запрашивают картинки) и заносить черный список (отдельный файл) который инклюдить сюда же в Nginx.
Тут есть нюанс - могут появляться новые подсети поисковых ботов (хороших), поэтому если у запросов юзерагенты - |YandexMobileBot|YandexAccessibilityBot|YandexDirect|YandexImages|Yahoo|Mediapartners-Google|YandexBot|Googlebot|msnbot|bingbot|Mail\.RU нужно не банить сразу, а отправлять мыло админу чтобы посмотрел руками.
Сам такое не реализую ибо не кодер совершенно, надеюсь кто-то поможет...
Вы бы сами на такое клиникнули? Все в чем сомнения - в бан.---------- Добавлено 24.01.2017 в 22:08 ----------Сегодня с обеда ни одного Якубовича и т.п. - подозрительно....
