О спасибо, просто сервис которым я проверял IP не писал что это MSN, щас внесу их в белый спискок.
По прошествии 8 часов по протоколу 1.1 заблокировано чуть более 1000 запросов (0,3% от всего).
Надо заметить что это не весь протокол 1,1 а минус реальные поисковые боты и минус явные сканеры отсеянные по реферу.
Т.е. сегодня пробовал чистить тех кто прошли основной грубый фильтр и косили под реальных юзеров, не делали частых запросов и пытались вести себя культурно.
Важно: просмотрев статистику метрики за последний квартал значительно расширил локацию map $geoip_country_code для протокола HTTP/2.0. Прежде чем пользоваться ей - изучите свою статистику!
Неожиданно для меня 90% мусорного трафика из США. Вот топ ботов на сегодня у меня кол-во запросов / ip
А я вот еще что придумал. пересобрал nginx с модулем --with-http_geoip_module
+ в нужный хост
503 ошибку сделал специально ибо у меня лог отдельный идет
+ еще обший лог для протокола 1,1
Сижу просматриваю кто "попался" - очень много разных сканеров из США и Европы (по протоколу 1,1) + совсем немного живых людей.
Вайтлист обновил этим
Конечно стоит и лично я очень прошу Вас это сделать!
ИДЕЯ - обычно все крупные компании реагируют на статьи, их дискридитирующие - на ХАБРЕ.
Есть тут юзеры с репутацией, которые смогут создать и опубликовать такую статью?
Так и есть - говна все больше и я только что понимаю, почему мой конкурент (посещаемость в 5 раз больше моей, лидер ниши) снял адсент 2 мес. назад, оставил только яндекс..... я все думал нафига... теперь понимаю и сам начинаю об этом же думать.
Касательно map $http_cookie родилась идея...
Ведь если я буду проверять свою куку - то смогу проверить ее наличие только на второй загрузке страницы, что не кошерно как-то.
А может ли Nginx проверять вообще наличие како-либо куки, все равно какой?
Скоро на фрилансе появятся новые вакансии - "Чистильщик *овна в Адсент", работа на постоянной основе в офисе, в Москве, жилье предоставляем + соц. пакет и оплачиваемый отпуск.
Сегодня этого овна много как никогда !!!
Да это известный код - делался для Вордпресса и Джумлы в период массового брута админок. Я же хочу понять как грамотно проверять куку чтобы не банить живых юзеров. Я пробовал проверять куку _ym_isad которую ставит яндекс метрика, она у меня на всех сайтах одинаковая.