Блокировка не нужных ботов а Nginx

169

jano

6 мая 2020, 22:49

1687

Где-то на просторах интернета нашёл данный список ботов:

Добавил правило в nginx и перестал работать правильно крон на wordpress.

Если комментирую строки и делаю рестарт nginx, крон начинает отрабатывать задачи. Что не так, подскажите пожалуйста и поделитесь рабочим листом ботов, которые можно забанить. Похоже человек не совсем разбирался в том, что блокирует.



    map $http_user_agent $limit_bots {
            default 0;

    ~*(AltaVista|BlackWidow|Bot|ChinaClaw|Custo|DISCo|Download|Demon|eCatch|EirGrabber|EmailSiphon|EmailWolf|SuperHTTP|Surfbot|WebWhacker) 1;
    ~*(Express|WebPictures|ExtractorPro|EyeNetIE|FlashGet|GetRight|GetWeb!|Go!Zilla|Go-Ahead-Got-It|GrabNet|Grafula|HMView|Go!Zilla|Go-Ahead-Got-It) 1;
    ~*(rafula|HMView|HTTrack|Stripper|Sucker|Indy|InterGET|spider|Ninja|JetCar|larbin|LeechFTP|Downloader|tool|Navroad|NearSite|NetAnts|tAkeOut|WWWOFFLE) 1;
    ~*(GrabNet|NetSpider|Vampire|NetZIP|Octopus|Offline|PageGrabber|Foto|pavuk|pcBrowser|RealDownload|ReGet|SiteSnagger|SmartDownload|SuperBot|WebSpider) 1;
    ~*(Teleport|VoidEYE|Collector|WebAuto|WebCopier|WebFetch|WebGo|WebLeacher|WebReaper|WebSauger|eXtractor|Quester|WebStripper|WebZIP|Wget|Widow|Zeus) 1;
    ~*(Twengabot|htmlparser|libwww|Python|perl|urllib|scan|Curl|email|PycURL|Pyth|PyQ|WebCollector|WebCopy|webcraw) 1;

}

До этого был список бан ботов такой и всё работало:

Правильный ли это список, блокировать curl к примеру?



                    ~*(htmlparser|libwww|python|perl|urllib|scan|Curl|wget|email|PycURL|PyQ|WebCollector|WebCopy|webcraw|uCrawler|Apache-HttpClient) 1;
                    ~*(DotBot|AhrefsBot|Seopult|MegaIndex|Uptimebot|MJ12bot|BUbiNG|AlphaBot|SemrushBot|spbot|IndeedBot|BLEXBot|org_bot|Qwantify|FlockBrain|ccbot|Qwantify|Gigabot|UnknownSpider|Unknown|Python|amazonaws.com|amazonaws) 1;

Ещё письмо пришло от сервиса, как закомментировал строки, который сканирует сайт онлайн или нет. Типа сайт снова онлайн.



RECOVERY ALERT
Your website is no longer on error.

URL: https://mydomain
Time: 2020-05-06 17:18:11 -0500
Time On Error: 7 hours 21 minutes 24 seconds

169

baas

7 мая 2020, 05:41

#1

Значит в кроне есть задача/правило которое попадает под условия блокирования ботов.

Настройка BSD систем. (https://www.fryaha.ru) Знание сила, незнание Рабочая сила!

178

Евгений Крупченко

7 мая 2020, 06:43

#2

открываем access логи nginx и смотрим кому (с каким агентом) был ответ 403... или какой там сделан. это же только map кусок, вырванный неизвестно откуда. а само условие блокировки неизвестно куда у вас вставлено и как, может там загвоздка, а не в map.

1

Резкий всплеск прямых заходов. Apache HTTP с MPM Яндекс кобласит

J

169

jano

7 мая 2020, 09:49

#3

baas:
Значит в кроне есть задача/правило которое попадает под условия блокирования ботов.

Это 100%, просто что бы не искать, подумал есть у кого-нибудь расширенный список ботов, что бы добавить, а эти строчки удалить.

Может есть у кого список ботов?

---------- Post added 07-05-2020 at 12:51 ----------

EvGenius:
открываем access логи nginx и смотрим кому (с каким агентом) был ответ 403... или какой там сделан. это же только map кусок, вырванный неизвестно откуда. а само условие блокировки неизвестно куда у вас вставлено и как, может там загвоздка, а не в map.

Да по логам можно было глянуть. Кусок map стоит в nginx.conf и блокирует по этим условиям всех, кто пытается попасть на сайт с таким агентом.

Борьба с ПФ Яндекс кобласит Помощь в фильтрации ботов

118

SocFishing

7 мая 2020, 13:54

#4

А что вы хотели, если вы блокируете юзерагенты ботов и желаете использовать какую-то задачу по крону. Значит в кроне выполняется что-то с каким-то дефолтным юзерагентом, может Curl может Wget может все что угодно. Смотреть что у вас там и измените useragent.

1

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.

1756

LEOnidUKG

7 мая 2020, 14:10

#5

У вас крон через wget?

Запускайте крон так:

wget --user-agent="Mozilla/5.0" -O /dev/null -q -t 1 http://site.ru/cron.php

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

J

169

jano

7 мая 2020, 16:50

#6

SocFishing:
А что вы хотели, если вы блокируете юзерагенты ботов и желаете использовать какую-то задачу по крону. Значит в кроне выполняется что-то с каким-то дефолтным юзерагентом, может Curl может Wget может все что угодно. Смотреть что у вас там и измените useragent.

Да, спасибо - разберусь, пока просто закомментировал. Где-то видел список ботов большой, думал может кто-то поделится им. Погуглю.

---------- Post added 07-05-2020 at 19:51 ----------

LEOnidUKG:
У вас крон через wget?

Запускайте крон так:

wget --user-agent="Mozilla/5.0" -O /dev/null -q -t 1 http://site.ru/cron.php

Нет, до этого всё работало с такими строчками:


                    ~*(htmlparser|libwww|python|perl|urllib|scan|Curl|wget|email|PycURL|PyQ|WebCollector|WebCopy|webcraw|uCrawler|Apache-HttpClient) 1;

                    ~*(DotBot|AhrefsBot|Seopult|MegaIndex|Uptimebot|MJ12bot|BUbiNG|AlphaBot|SemrushBot|spbot|IndeedBot|BLEXBot|org_bot|Qwantify|FlockBrain|ccbot|Qwantify|Gigabot|UnknownSpider|Unknown|Python|amazonaws.com|amazonaws) 1;

Яндекс кобласит Google Updates - апдейты rel="nofollow" В 2024 году

1756

LEOnidUKG

7 мая 2020, 16:57

#7

Нет, до этого всё работало с такими строчками:

При указании useragent всё нормально становиться?

229

Елистратов

10 июня 2020, 23:09

#8

подскажите зачем тут map?

не супер эксперт в nginx, есть ли различия и какие если просто через if указать?

if ($http_user_agent ~* "bot1|bot2") {
return 403;
}
if ($http_user_agent = "-") {
return 403;
}

может кому нужен актуальный список, собирал сам около года.

if ($http_user_agent ~* (CCBot/2.0|BLEXBot|SeznamBot|python|coccocbot|WhatCMS|Nimbostratus-Bot|PetalBot|serpstatbot|YandeG|Bytespider|MJ12bot|TipTop|MagpieRSS|Friendica|linkdexbot|foaf-visualizer|Wget|SemrushBot|Ahrefs|netEstate|DotBot|AspiegelBot|ltx71)){
return 403;
}

if ($http_user_agent = "-") { return 403; }

обратите внимание на последнее $http_user_agent = "-" - очень много ботов вообще не подписывают юзер агент, такие тоже нужно "брить"

C уважением, Евгений. Покупаю аккаунты AdSense ()

Боты Bing озверели? Ложат nginx определение бота яндекса Доступ по IP и

HM

244

hakuna matata

11 июня 2020, 03:28

#9

Елистратов:
если просто через if

https://www.nginx.com/resources/wiki/start/topics/depth/ifisevil/

232

cblcg

11 июня 2020, 08:19

#10

jano:

Может есть у кого список ботов?

Вопрос - на сайт под ботом bing летит по 10-20 запросов в сек. Это может быть ктото косящий под него или реально он такой агрессивный может быть? Просто этой ПС ник не пользуется же. Трафика с нее также нет.

php-fpm грузит по ВС Вопрос по битриксу Кликфрод

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах

Зачем быть уникальным в мире, где все можно скопировать