Аномальная нагрузка на сервер

12
K
На сайте с 27.05.2018
Offline
75
731

Всем привет! 

В течение суток по логам фиксирую множество заходов на сайт с разных ip. Сайт обычный информационник.  Соответственно это создает серьезную нагрузку на сервер, превышающую ежесуточные лимиты хостера в десятки раз. Некоторые ip заблокировал в файле  .htaccess , но это не решило проблему. Хостер с моего согласия  заблокировал доступ к серверу клиентов без поддержки Cookie и JavaScript. После этого в логах сайта нет массовых обращений с разных ip. 

Несмотря на вышеуказанную блокировку  нагрузка на сервер не уменьшилась. Временное отключение сайта через панель джумлы результата также не дает, то есть в этот период нагрузка не снизилась.

У меня нет технических знаний по этому вопросу. Кто-нибудь подскажет почему после блокировки вредоносные ip по-прежнему создают запросы и грузят сервер. Даже отключение сайта не помогает.  Есть ли решение этой проблемы? Запросы идут на главную страницу. Совет хостера –  подключить домен сайта к CDN сервису. Это единственный вариант? и поможет ли.

Заранее спасибо за дельный совет. 







M3
На сайте с 09.02.2022
Offline
96
#1
Kalgan :
Даже отключение сайта не помогает.
Kalgan :
Запросы идут на главную страницу.
Kalgan :
вредоносные ip по-прежнему создают запросы и грузят сервер

такое в теории возможно?)

K
На сайте с 27.05.2018
Offline
75
#2
master32 #:

такое в теории возможно?)

На практике тоже – Ответ хостера – "Даже при блокировке IP-адреса в файле .htaccess запрос всё равно будет обрабатываться (фиксироваться) сервером Apache и следовательно отображаться в нагрузке."  Тоже самое касается выключенного сайта.
M3
На сайте с 09.02.2022
Offline
96
#3
Kalgan #:
Ответ хостера

обычно чуть выше никакущего, хостер блокирует вредоносные адреса через iptables
а что такое отключение сайта? просто в моем понимание отключение сайта это оставить запрос без ответа, соответственно вся нагрузка будет максимум на обработку и фильтр SNI, а это копейки

LEOnidUKG
На сайте с 25.11.2006
Offline
1766
#4
Kalgan :
Временное отключение сайта через панель джумлы результата также не дает, то есть в этот период нагрузка не снизилась.

И кто же этот хостер? По сути менять возможно его надо, если выключенный сайт вызывает туже нагрузку, что и включенный. Ну или как вариант переезжать на VDS и уже блокировать как угодно и что угодно.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Genius Ideaing
На сайте с 12.02.2024
Offline
84
#5
Kalgan :
Есть ли решение этой проблемы?

есть! купите самый простой VDS/VPS и не будет на вас хостер "давить" за потребляемые ресурсы...

администрируется VDS/VPS через панель управления сервером ничуть не труднее веб-хостинга... 

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Мощный хостинг: https://clck.ru/3DKmVu / Есть Идеи! Ищу хороших людей для реализации этих идей! Мой Telegram: https://clck.ru/396JFF
Vladimir
На сайте с 07.06.2004
Offline
600
#6
LEOnidUKG #:

И кто же этот хостер? По сути менять возможно его надо, если выключенный сайт вызывает туже нагрузку, что и включенный. Ну или как вариант переезжать на VDS и уже блокировать как угодно и что угодно.

Вредный совет, так как он у него постоянно лежать будет - "У меня нет технических знаний по этому вопросу."

Kalgan :
У меня нет технических знаний по этому вопросу.
1. проверить на вирусы
2  проверить на нагрузку от ПС, анализаторов и прочей лабуды

Если точнее, то это гадание на кофейной гуще. К  LEOnidUKG, обратись за услугой
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
K
На сайте с 27.05.2018
Offline
75
#7

Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет: 

# Fake Google, Bing, Msn, Slurp

RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]

RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]

RewriteRule .* - [R=403,L]

Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла. 

Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?

K
На сайте с 14.01.2025
Offline
12
#8
Kalgan #:

Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет: 

# Fake Google, Bing, Msn, Slurp

RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]

RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]

RewriteRule .* - [R=403,L]

Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла. 

Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?

https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ru
вот айпишники официальных гугл ботов. Остальные можно блочить

Проверка Googlebot и других поисковых роботов | Центр Google Поиска  |  Documentation  |  Google for Developers
Проверка Googlebot и других поисковых роботов | Центр Google Поиска  |  Documentation  |  Google for Developers
  • developers.google.com
Вы можете проверить, сканирует ли ваш сайт именно робот Googlebot (или иной поисковый робот Google). Это поможет вам, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Поисковые роботы Google бывают трех категорий, которые перечислены в таблице ниже. Тип Описание Обратная...
Byazrov
На сайте с 19.12.2021
Online
28
#9
Kalgan #:

Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет: 

# Fake Google, Bing, Msn, Slurp

RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]

RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]

RewriteRule .* - [R=403,L]

Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла. 

Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?

Ваше правило которое вы прописали в HTACCESS это и есть метод блокировки всех запросов с поддельным User Agent от Google ботов. По этому правилу ваш сервер выполняет обратный DNS-запрос (reverse DNS lookup) по IP-адресу, с которого пришел запрос, чтобы определить его имя хоста (REMOTE_HOST). Условие проверяет, что имя хоста не (!) заканчивается на google.comgooglebot.comsearch.msn.com или crawl.yahoo.net

При выполнении всех условий для этого метода ваше правило уже должно проверять и User Agent и соответствие хоста настоящему Google боту и не должно блокировать реальных гугл ботов.  Реальный список юзерагентов для гугл ботов должен быть больше чем в этом правиле.

Теоретически этот подход должен полностью блокировать весь поддельный трафик от псевдо гугл ботов, но практически у него есть поводные камни связанные с работой DNS-резолвера , возможной блокировкой реальных гугл ботов и снижением производительности обработки запросов.

После поддельных гугл ботов на вас могут посыпятся другие варианты вредоносного трафика с более сложными условиями, которые подход через htaccess вообще не в состоянии будет решить.

Попытки решать проблемы фильтрации трафика через HTACCESS это крайне слабый по возможностям и качеству архаизм, который не решает сегодняшние вызовы. 

Более качественным и эффективным подходом к решению вашей проблемы будет проксирование трафика вашего сайта через специализированный Waf сервер, который будет делать нужную для вашей проблемы фильтрацию трафика другими более точными, надёжными и быстрыми методами.

Защита сайта от поведенческих ботов, взлома, парсеров, спама, сетевых атак. Фильтрация, проксирование трафика. Защита SEO от накрутки поведенческих факторов. https://byazrov.ru
LEOnidUKG
На сайте с 25.11.2006
Offline
1766
#10
Вот бы кто логи выложил по сайту... 
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий