Форум Сайтостроение Безопасность

Раз в неделю боты грузят сайт

Kowalski
На сайте с 09.02.2010
Offline
120
Kowalski
958

Раз в неделю уже полгода резко увеличивается нагрузка на сайт.

В последние дни сайт лежит. Судя по access_log боты обходят раздел статей, сочиняя сложные конструкции из тегов, продуктов и параметра gclid

.../stati/?tag=музыка&PAGEN_1=4

.../stati/?tag=обои,кино&product=kino&gclid=Cj0KCQiAmsrxBRDaARIsANyiD1r64lR8rs2wwjul8WFdpbqxbXqvAcvEm6JKP

.../stati/?tag=новости&product=teatr&gclid=EAIaIQobChMItKvB_tqt5wIVDxsYCh2u9QIJEAAYASACEgIXC_D_BwE&PAGEN_1=3

Вчера и сегодня таких обращений было до 100 000 (по access_log), при посещаемости сайта 1500-2000 человек. В robots.txt стоит Disallow: /stati/?tag=

Что это за боты и как с ними бороться?

И можно ли как-то запретить обходить и смотреть теги в htaccess RedirectMatch 403 ^/stati/?tag.*$ (не работает)?

Буду признателен за любые советы

png image_2020_02_03.jpg.png
Привет
yanus
На сайте с 21.01.2009
Offline
348
yanus
#1
Kowalski:

И можно ли как-то запретить обходить и смотреть теги в htaccess RedirectMatch 403 ^/stati/?tag.*$ (не работает)?

Напишите правило в htacces и показывайте этим ботам одну общую статичную страницу. 403,404,301 и тд приведут к тому, что ботов просто перепишут, а так шанс есть протянуть какое-то время )

Откуда гугл такое индексирует как сделать 301 редирект Конструкция "SNS=md5hash...." после Яндекса.
Mik Foxi
На сайте с 02.03.2011
Offline
1126
Mik Foxi
#2

Так смотрите в логах откуда боты и забаньте их по юзерагенту, стране, ипу...

Универсальный антибот, антиспам, веб файрвол, защита от накрутки поведенческих № 1 в рунете: https://antibot.cloud/
fliger
На сайте с 17.09.2015
Offline
111
fliger
#3

Нужные роботы так не ходят, а не нужные с разных помоек нужно блокировать (по диапазону IP всю сеть хостера, по имени агента).

Если на сайте нет адресов типа /stati/?..., заблокируйте их:

ErrorDocument 403 "Forbidden"

RewriteCond %{QUERY_STRING} ^.+$

RewriteRule ^stati/$ - [F]

Индексация ссылок на странице, Клон сайта htaccess редирект по юзерагенту
[Удален]
#4
Kowalski:
Раз в неделю уже полгода резко увеличивается нагрузка на сайт.

В последние дни сайт лежит. Судя по access_log боты обходят раздел статей, сочиняя сложные конструкции из тегов, продуктов и параметра gclid

От DDOS в миниатюре, создаваемой ботами (нередко, увы, приходится сталкиваться с подобным) неплохо помогает ограничение префорка апача. Конкретные цифры - в зависимости от ресурсов сервера. P.S. Разумеется, это если апач у вас имеет место быть.

DDOS сервера самого себя?Или Раскрутка сайта покупкой постов Нужен коллективный разум -
SocFishing
На сайте с 26.09.2013
Offline
118
SocFishing
#5

Дописать правила, если вы говорите, что боты ставят gclid, то по этому параметру рубить их. А так, лучше всего вам будет подключить cloudflare для вашего домена. Он зарубит наглых ботов, домен подключите.

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
O
На сайте с 28.07.2009
Offline
131
olegon
#6

Не рекомендую CF, особенно, если ориентируетесь на рунет.

РКН банит его ноды - только в путь.

занимаюсь автоматизацией торговли (http://olegon.ru)
SocFishing
На сайте с 26.09.2013
Offline
118
SocFishing
#7

olegon, если баблишкес платить, они выделяют под вас ноды. А в них вероятность мала негатива с РКН.

Aisamiery
На сайте с 12.04.2015
Offline
301
Aisamiery
#8
olegon:
Не рекомендую CF, особенно, если ориентируетесь на рунет.
РКН банит его ноды - только в путь.

Там у них есть разделение IP на бесплатных и платных, так вот на платных редко встречаешься с заблоченными IP

Разработка проектов на Symfony, Laravel, 1C-Bitrix, UMI.CMS, OctoberCMS

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий