Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 04.02.2020, 17:44   #1
Аспирант
 
Аватар для Kowalski
 
Регистрация: 09.02.2010
Сообщений: 100
Репутация: -3567

По умолчанию Раз в неделю боты грузят сайт

Раз в неделю уже полгода резко увеличивается нагрузка на сайт.

В последние дни сайт лежит. Судя по access_log боты обходят раздел статей, сочиняя сложные конструкции из тегов, продуктов и параметра gclid

Код:
.../stati/?tag=музыка&PAGEN_1=4

.../stati/?tag=обои,кино&product=kino&gclid=Cj0KCQiAmsrxBRDaARIsANyiD1r64lR8rs2wwjul8WFdpbqxbXqvAcvEm6JKP

.../stati/?tag=новости&product=teatr&gclid=EAIaIQobChMItKvB_tqt5wIVDxsYCh2u9QIJEAAYASACEgIXC_D_BwE&PAGEN_1=3
Вчера и сегодня таких обращений было до 100 000 (по access_log), при посещаемости сайта 1500-2000 человек. В robots.txt стоит Disallow: /stati/?tag=

Что это за боты и как с ними бороться?
И можно ли как-то запретить обходить и смотреть теги в htaccess RedirectMatch 403 ^/stati/?tag.*$ (не работает)?

Буду признателен за любые советы
Изображения
 
__________________
Привет

Последний раз редактировалось Kowalski; 04.02.2020 в 18:42..
Kowalski вне форума   Ответить с цитированием

Реклама
Старый 04.02.2020, 18:46   #2
yanus
Академик
 
Аватар для yanus
 
Регистрация: 21.01.2009
Адрес: Замкадье
Сообщений: 3,851
Репутация: 695358

По умолчанию Re: Раз в неделю боты грузят сайт

Цитата:
Сообщение от Kowalski Посмотреть сообщение
И можно ли как-то запретить обходить и смотреть теги в htaccess RedirectMatch 403 ^/stati/?tag.*$ (не работает)?
Напишите правило в htacces и показывайте этим ботам одну общую статичную страницу. 403,404,301 и тд приведут к тому, что ботов просто перепишут, а так шанс есть протянуть какое-то время )
yanus вне форума   Ответить с цитированием
Старый 04.02.2020, 19:59   #3
foxi
Mik Foxi
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 10,414
Репутация: 1098768
Социальные сети Аккаунт в Telegram

По умолчанию Re: Раз в неделю боты грузят сайт

Так смотрите в логах откуда боты и забаньте их по юзерагенту, стране, ипу...
__________________
Антибот защита для сайта (плохие боты не пройдут и контент не украдут) | Телеграм ЧАТ ВебМастеров | Тут могла быть ваша реклама
foxi вне форума   Ответить с цитированием
Старый 05.02.2020, 14:44   #4
fliger
Кандидат наук
 
Аватар для fliger
 
Регистрация: 17.09.2015
Сообщений: 448
Репутация: 13634

По умолчанию Re: Раз в неделю боты грузят сайт

Нужные роботы так не ходят, а не нужные с разных помоек нужно блокировать (по диапазону IP всю сеть хостера, по имени агента).
Если на сайте нет адресов типа /stati/?..., заблокируйте их:

ErrorDocument 403 "Forbidden"
RewriteCond %{QUERY_STRING} ^.+$
RewriteRule ^stati/$ - [F]
fliger вне форума   Ответить с цитированием
Старый 05.02.2020, 18:02   #5
keepersheet
Кандидат наук
 
Аватар для keepersheet
 
Регистрация: 21.06.2016
Сообщений: 343
Репутация: 11135
Социальные сети Профиль в LinkedIn

По умолчанию Re: Раз в неделю боты грузят сайт

Цитата:
Сообщение от Kowalski Посмотреть сообщение
Раз в неделю уже полгода резко увеличивается нагрузка на сайт.

В последние дни сайт лежит. Судя по access_log боты обходят раздел статей, сочиняя сложные конструкции из тегов, продуктов и параметра gclid
От DDOS в миниатюре, создаваемой ботами (нередко, увы, приходится сталкиваться с подобным) неплохо помогает ограничение префорка апача. Конкретные цифры - в зависимости от ресурсов сервера. P.S. Разумеется, это если апач у вас имеет место быть.
keepersheet вне форума   Ответить с цитированием
Старый 06.02.2020, 01:38   #6
SocFishing
uid tracking
 
Аватар для SocFishing
 
Регистрация: 26.09.2013
Адрес: определяет
Сообщений: 713
Репутация: 47816
Социальные сети Профиль на Хабрахабре

По умолчанию Re: Раз в неделю боты грузят сайт

Дописать правила, если вы говорите, что боты ставят gclid, то по этому параметру рубить их. А так, лучше всего вам будет подключить cloudflare для вашего домена. Он зарубит наглых ботов, домен подключите.

__________________
Сервис идентифицирует посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 7 лет.
SocFishing на форуме   Ответить с цитированием
Старый 06.02.2020, 17:01   #7
olegon
Аспирант
 
Регистрация: 28.07.2009
Сообщений: 239
Репутация: 11184
Отправить сообщение для olegon с помощью ICQ Send Message via Jabber to olegon

По умолчанию Re: Раз в неделю боты грузят сайт

Не рекомендую CF, особенно, если ориентируетесь на рунет.
РКН банит его ноды - только в путь.
__________________
занимаюсь автоматизацией торговли
olegon вне форума   Ответить с цитированием
Старый 06.02.2020, 17:27   #8
SocFishing
uid tracking
 
Аватар для SocFishing
 
Регистрация: 26.09.2013
Адрес: определяет
Сообщений: 713
Репутация: 47816
Социальные сети Профиль на Хабрахабре

По умолчанию Re: Раз в неделю боты грузят сайт

olegon, если баблишкес платить, они выделяют под вас ноды. А в них вероятность мала негатива с РКН.
SocFishing на форуме   Ответить с цитированием
Старый 14.02.2020, 14:26   #9
Aisamiery
Full stack web developer
 
Аватар для Aisamiery
 
Регистрация: 12.04.2015
Адрес: Санкт-Петербург
Сообщений: 1,835
Репутация: 150751

По умолчанию Re: Раз в неделю боты грузят сайт

Цитата:
Сообщение от olegon Посмотреть сообщение
Не рекомендую CF, особенно, если ориентируетесь на рунет.
РКН банит его ноды - только в путь.
Там у них есть разделение IP на бесплатных и платных, так вот на платных редко встречаешься с заблоченными IP
__________________
Разработка проектов на Symfony, Laravel, 1C-Bitrix, UMI.CMS, OctoberCMS
Надежный хостинг NetAngels от 124 рублей с отличным саппортом.
Aisamiery вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны