Форум Сайтостроение Веб-строительство

Как забанить обращение к серверу с Apache-HttpClient/4.4.1 (Java/1.8.0_161)

J
На сайте с 06.07.2011
Offline
160
jano
470

Много обращений идёт на сервер: "-" "Apache-HttpClient/4.4.1 (Java/1.8.0_161)"

Проанализировав, определил, что просто парсят сайт сайт и нагрузка идёт запредельная. :(

---------- Добавлено 07.01.2019 в 11:17 ----------

В секунду идёт 20 обращений к серверу. Банить их ип надоело, через неделю опять начинают парсить сайт.

D
На сайте с 28.06.2008
Offline
1101
Dram
#1

Погуглите на тему бан по юзер агенту

J
На сайте с 06.07.2011
Offline
160
jano
#2
Dram:
Погуглите на тему бан по юзер агенту

Спасибо, Если у кого php-fpm, я добавил в конфиг:

if ($http_user_agent ~* (Apache-HttpClient) ) {

return 403;

}

и всё отлично, нагрузка упала.

J
На сайте с 06.07.2011
Offline
160
jano
#3

Подскажите пожалуйста, а как в апаче сделать блок юзерагента на все сайты сразу же?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий