Еще в панели ISP указано куча IP-адресов. Видимо, которые хостер когда-то решил заблокировать. Как думаете, стоит удалить оттуда? Посмотреть что будет.
И кстати тут же увидел раздел - блокировка по странам)
Сегменты можно удалить, но включить блокировку по странам, для начала Китай и Сингапур заблокировать. Для квнщиков оставить Европу, они в основном Нидерланды используют.
TonyBlackberry#: более менее интуитивно - это if ($http_user_agent ~* . а когда надо сначала какой-то модуль установить, то неопытный с этим не разберется.. к примеру, у меня fastpanel. ну и что в настройках надо прописать, чтобы блокировать по Iptables?
Я не использую fastpanel, поэтому мне наверно проще. Для блокировки по странам используется Ipset, он вообще тоннами переваривает IP-адреса.
не советуй ерунды, nginx норм работает, но лучше конечно через map в нем блочить, а не такой регуляркой, но это больше про красоту и идеологическую правильность, технически и такое условие что в стартпосте будет работать.
iptables не предназначен для блокировки юзерагентов, это вообще даже уровень другой (L3/L4, а юзерагент находится на L7), еще он давно deprecated, вместо него nftables, который также не предназначен для блокировок по юзерагенту.
Я написал про сегменты, а не про юзерагентов. Nginx работает, но ты закинь ему все сегменты из Азии, работать будет но не быстро :)
То что я предлагаю отсечет весь трафик, даже не дойдя до nginx, а далее уже можно и в nginx правила придумывать.
server { if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) { return 403;
Я уже написал в другой теме... Nginx туго переваривает такие вещи, лучше использовать Iptables. Для начала лучше заблокировать сегменты стран Азии (Китай, Сингапур и т.д.).
По логике у тебя должен остаться трафик из России и стран СНГ. По большей части роботы отдают user_agent как у обычного пользователя или вообще пустой, т.е. легко обходят твою проверку.
Анализируй с каких сегментов идут пользователи, точно не из серверных сегментов различных хостингов. Пользователи в КВН отдельная тема, но сейчас в основном маршрутизируют их на сервере.
Возможно поэтому и нет апдейтов, чтобы выдачу не сломать. Яндекс годами собирал информацию, на основе нее работал алгоритм, а сейчас просто нет истории у сайтов.
Даже если был какой-то бэкап, который исчислялся в петабайтах, то чтобы его восстановить потребуется очень много времени.
Здесь форум вроде, а не биржа поиска специалистов.
Пока сам разбираюсь. Обнаружил файл badbot у себя со списком:
f ($http_user_agent ~* (360Spider******) ) {
return 403;
Хз, кто добавил.
Один фиг из Китая много идет
Через Пинг админ проверь доступность. Если все пролетает, тогда смотреть конфиги etc/sysconfig/iptables или notables
А как там сделать, чтобы гугл-бот проходил?
Разрешить трафик с сегментов Google, там где был твой список заблокированных сегментов.
А еще из Бразилии и США. Но США блокировать не вариант, там гугл. Пока заблочил Китай
Еще в панели ISP указано куча IP-адресов. Видимо, которые хостер когда-то решил заблокировать. Как думаете, стоит удалить оттуда? Посмотреть что будет.
И кстати тут же увидел раздел - блокировка по странам)
Сегменты можно удалить, но включить блокировку по странам, для начала Китай и Сингапур заблокировать. Для квнщиков оставить Европу, они в основном Нидерланды используют.
более менее интуитивно - это if ($http_user_agent ~* . а когда надо сначала какой-то модуль установить, то неопытный с этим не разберется.. к примеру, у меня fastpanel. ну и что в настройках надо прописать, чтобы блокировать по Iptables?
Я не использую fastpanel, поэтому мне наверно проще. Для блокировки по странам используется Ipset, он вообще тоннами переваривает IP-адреса.
Вот как это выглядит в https://www.ispmanager.ru/news/zashchita-servera-v-ispmanager-s-pomoshchyu-ip2location
не советуй ерунды, nginx норм работает, но лучше конечно через map в нем блочить, а не такой регуляркой, но это больше про красоту и идеологическую правильность, технически и такое условие что в стартпосте будет работать.
iptables не предназначен для блокировки юзерагентов, это вообще даже уровень другой (L3/L4, а юзерагент находится на L7), еще он давно deprecated, вместо него nftables, который также не предназначен для блокировок по юзерагенту.
Я написал про сегменты, а не про юзерагентов. Nginx работает, но ты закинь ему все сегменты из Азии, работать будет но не быстро :)
То что я предлагаю отсечет весь трафик, даже не дойдя до nginx, а далее уже можно и в nginx правила придумывать.
Зато это просто даже для тех, кто не разбирается в администрировании серверов. а с Iptables не так просто разобраться начинающему
Сейчас же не используются SSH по хардкору, в основном установлены панели управления сервером, там все более менее интуитивно.
Купил на месяц лицензию на Ispmanager, настроил и забыл, потом уже можно по SSH что-то докрутить.
server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) {
return 403;
Я уже написал в другой теме... Nginx туго переваривает такие вещи, лучше использовать Iptables. Для начала лучше заблокировать сегменты стран Азии (Китай, Сингапур и т.д.).
По логике у тебя должен остаться трафик из России и стран СНГ. По большей части роботы отдают user_agent как у обычного пользователя или вообще пустой, т.е. легко обходят твою проверку.
Анализируй с каких сегментов идут пользователи, точно не из серверных сегментов различных хостингов. Пользователи в КВН отдельная тема, но сейчас в основном маршрутизируют их на сервере.
Кладовка сгорела.
Возможно поэтому и нет апдейтов, чтобы выдачу не сломать. Яндекс годами собирал информацию, на основе нее работал алгоритм, а сейчас просто нет истории у сайтов.
Даже если был какой-то бэкап, который исчислялся в петабайтах, то чтобы его восстановить потребуется очень много времени.