По прошествии 8 часов по протоколу 1.1 заблокировано чуть более 1000 запросов (0,3% от всего).
Надо заметить что это не весь протокол 1,1 а минус реальные поисковые боты и минус явные сканеры отсеянные по реферу.
Т.е. сегодня пробовал чистить тех кто прошли основной грубый фильтр и косили под реальных юзеров, не делали частых запросов и пытались вести себя культурно.
Важно: просмотрев статистику метрики за последний квартал значительно расширил локацию map $geoip_country_code для протокола HTTP/2.0. Прежде чем пользоваться ей - изучите свою статистику!
Неожиданно для меня 90% мусорного трафика из США. Вот топ ботов на сегодня у меня кол-во запросов / ip
Так и есть - говна все больше и я только что понимаю, почему мой конкурент (посещаемость в 5 раз больше моей, лидер ниши) снял адсент 2 мес. назад, оставил только яндекс..... я все думал нафига... теперь понимаю и сам начинаю об этом же думать.
Скоро на фрилансе появятся новые вакансии - "Чистильщик *овна в Адсент", работа на постоянной основе в офисе, в Москве, жилье предоставляем + соц. пакет и оплачиваемый отпуск.
А вот пример - 13.93.82.28 , написано Microsoft Corporation, а рефер такой
Это нормально? Почему не пишет что бот?
еще пример 52.169.88.181, написано Microsoft Corporation, а рефер такой
52.164.240.201, написано Microsoft Corporation, а рефер такой
52.174.145.81, написано Microsoft Corporation, а рефер такой
О спасибо, просто сервис которым я проверял IP не писал что это MSN, щас внесу их в белый спискок.
По прошествии 8 часов по протоколу 1.1 заблокировано чуть более 1000 запросов (0,3% от всего).
Надо заметить что это не весь протокол 1,1 а минус реальные поисковые боты и минус явные сканеры отсеянные по реферу.
Т.е. сегодня пробовал чистить тех кто прошли основной грубый фильтр и косили под реальных юзеров, не делали частых запросов и пытались вести себя культурно.
Важно: просмотрев статистику метрики за последний квартал значительно расширил локацию map $geoip_country_code для протокола HTTP/2.0. Прежде чем пользоваться ей - изучите свою статистику!
Неожиданно для меня 90% мусорного трафика из США. Вот топ ботов на сегодня у меня кол-во запросов / ip
115 52.29.26.11
82 54.172.209.166
78 178.158.247.138
58 5.61.41.104
53 52.166.132.198
51 199.16.157.182
47 52.178.38.104
44 52.178.222.249
44 52.178.222.111
44 52.178.151.184
А я вот еще что придумал. пересобрал nginx с модулем --with-http_geoip_module
map $geoip_country_code:$whitelist:$server_protocol $allowed_country {
default no;
"RU:0:HTTP/1.1" yes;
"RU:0:HTTP/2.0" yes;
"RU:1:HTTP/1.0" yes;
"RU:1:HTTP/1.1" yes;
"RU:1:HTTP/2.0" yes;
"US:1:HTTP/1.1" yes;
"US:1:HTTP/2.0" yes;
"UA:0:HTTP/2.0" yes;
"BY:0:HTTP/2.0" yes;
"KZ:0:HTTP/2.0" yes;
}
+ в нужный хост
return 503;
}
503 ошибку сделал специально ибо у меня лог отдельный идет
}
+ еще обший лог для протокола 1,1
default 0;
"0:HTTP/1.1" 1;
}
Сижу просматриваю кто "попался" - очень много разных сканеров из США и Европы (по протоколу 1,1) + совсем немного живых людей.
Вайтлист обновил этим
82.145.216.0/22 1;
107.167.96.0/19 1;
185.26.180.0/23 1;
37.228.104.0/22 1;
82.145.208.0/21 1;
37.228.111.128/26 1;
141.0.14.0/23 1;
82.145.220.0/22 1;
141.0.12.0/23 1;
141.0.8.0/22 1;
Стоит писать?
Конечно стоит и лично я очень прошу Вас это сделать!
ИДЕЯ - обычно все крупные компании реагируют на статьи, их дискридитирующие - на ХАБРЕ.
Есть тут юзеры с репутацией, которые смогут создать и опубликовать такую статью?
Так и есть - говна все больше и я только что понимаю, почему мой конкурент (посещаемость в 5 раз больше моей, лидер ниши) снял адсент 2 мес. назад, оставил только яндекс..... я все думал нафига... теперь понимаю и сам начинаю об этом же думать.
Касательно map $http_cookie родилась идея...
Ведь если я буду проверять свою куку - то смогу проверить ее наличие только на второй загрузке страницы, что не кошерно как-то.
А может ли Nginx проверять вообще наличие како-либо куки, все равно какой?
Скоро на фрилансе появятся новые вакансии - "Чистильщик *овна в Адсент", работа на постоянной основе в офисе, в Москве, жилье предоставляем + соц. пакет и оплачиваемый отпуск.
Сегодня не должно быть якубовичей и прочего шлака со звездами (именно этого) ;)
Проверьте у себя.
Сегодня этого овна много как никогда !!!