- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет!
В течение суток по логам фиксирую множество заходов на сайт с разных ip. Сайт обычный информационник. Соответственно это создает серьезную нагрузку на сервер, превышающую ежесуточные лимиты хостера в десятки раз. Некоторые ip заблокировал в файле .htaccess , но это не решило проблему. Хостер с моего согласия заблокировал доступ к серверу клиентов без поддержки Cookie и JavaScript. После этого в логах сайта нет массовых обращений с разных ip.
Несмотря на вышеуказанную блокировку нагрузка на сервер не уменьшилась. Временное отключение сайта через панель джумлы результата также не дает, то есть в этот период нагрузка не снизилась.
У меня нет технических знаний по этому вопросу. Кто-нибудь подскажет почему после блокировки вредоносные ip по-прежнему создают запросы и грузят сервер. Даже отключение сайта не помогает. Есть ли решение этой проблемы? Запросы идут на главную страницу. Совет хостера – подключить домен сайта к CDN сервису. Это единственный вариант? и поможет ли.
Заранее спасибо за дельный совет.
Даже отключение сайта не помогает.
Запросы идут на главную страницу.
вредоносные ip по-прежнему создают запросы и грузят сервер
такое в теории возможно?)
такое в теории возможно?)
Ответ хостера
обычно чуть выше никакущего, хостер блокирует вредоносные адреса через iptables
а что такое отключение сайта? просто в моем понимание отключение сайта это оставить запрос без ответа, соответственно вся нагрузка будет максимум на обработку и фильтр SNI, а это копейки
Временное отключение сайта через панель джумлы результата также не дает, то есть в этот период нагрузка не снизилась.
И кто же этот хостер? По сути менять возможно его надо, если выключенный сайт вызывает туже нагрузку, что и включенный. Ну или как вариант переезжать на VDS и уже блокировать как угодно и что угодно.
Есть ли решение этой проблемы?
есть! купите самый простой VDS/VPS и не будет на вас хостер "давить" за потребляемые ресурсы...
администрируется VDS/VPS через панель управления сервером ничуть не труднее веб-хостинга...
И кто же этот хостер? По сути менять возможно его надо, если выключенный сайт вызывает туже нагрузку, что и включенный. Ну или как вариант переезжать на VDS и уже блокировать как угодно и что угодно.
У меня нет технических знаний по этому вопросу.
2 проверить на нагрузку от ПС, анализаторов и прочей лабуды
Если точнее, то это гадание на кофейной гуще. К LEOnidUKG, обратись за услугой
Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет:
# Fake Google, Bing, Msn, Slurp
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]
RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]
RewriteRule .* - [R=403,L]
Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла.
Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?
Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет:
# Fake Google, Bing, Msn, Slurp
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]
RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]
RewriteRule .* - [R=403,L]
Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла.
Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?
https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ru
вот айпишники официальных гугл ботов. Остальные можно блочить
Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет:
# Fake Google, Bing, Msn, Slurp
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]
RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]
RewriteRule .* - [R=403,L]
Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла.
Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?
Ваше правило которое вы прописали в HTACCESS это и есть метод блокировки всех запросов с поддельным User Agent от Google ботов. По этому правилу ваш сервер выполняет обратный DNS-запрос (reverse DNS lookup) по IP-адресу, с которого пришел запрос, чтобы определить его имя хоста (REMOTE_HOST). Условие проверяет, что имя хоста не (!) заканчивается на google.com, googlebot.com, search.msn.com или crawl.yahoo.net
При выполнении всех условий для этого метода ваше правило уже должно проверять и User Agent и соответствие хоста настоящему Google боту и не должно блокировать реальных гугл ботов. Реальный список юзерагентов для гугл ботов должен быть больше чем в этом правиле.
Теоретически этот подход должен полностью блокировать весь поддельный трафик от псевдо гугл ботов, но практически у него есть поводные камни связанные с работой DNS-резолвера , возможной блокировкой реальных гугл ботов и снижением производительности обработки запросов.
После поддельных гугл ботов на вас могут посыпятся другие варианты вредоносного трафика с более сложными условиями, которые подход через htaccess вообще не в состоянии будет решить.
Попытки решать проблемы фильтрации трафика через HTACCESS это крайне слабый по возможностям и качеству архаизм, который не решает сегодняшние вызовы.
Более качественным и эффективным подходом к решению вашей проблемы будет проксирование трафика вашего сайта через специализированный Waf сервер, который будет делать нужную для вашей проблемы фильтрацию трафика другими более точными, надёжными и быстрыми методами.