Резкий всплеск прямых заходов. Как бороться?

Анти ДДОС
На сайте с 14.03.2020
Online
110
#921
Openso #:

У меня на сайте было около 15000 ботов в день как прямых, так и по поисковым фразам. Чтобы тут не говорили на пользователя "softerra" - но он реально прав. Стоит только заблочить битерику и всё стает на место, потом правда ещё с ipv6 повалили, но отключил ivp6 на хостинге и всё ок. 

Тут возможно нужды у всех разные. Если у кого-то статейник обычный то клауд им поможет. Но в моем конкретном случае (загрузочный трафик) от клауда было больше гемороя чем пользы.

Поэтому и написано 1000 раз. Не нужно натягивать сову на глобус. И свои частные случаи подавать как истину в последней инстанции.

Повезло тому у кого только битерика, и нет больше вообще ничего.

А вот у магазинов, посещаемых сайтов и проч где конкурентная ниша. Там где посещалка в десятки, а бывало у меня что и сотни тысяч (настоящих) посетителей в день.

Там, представьте себе, еще и заказывают наскок с целью понижения поведенческих. И потом еще корректируют атаку, постоянно ищут новые дырки в защите.
И в целом набор сеток с которых прут боты - минимум на порядок больше, и битерикой не ограничивается. В один момент вдрух бац - трафик прямых через ростелеком краснодар и через мегафон - вырос на 1000% в течение месяца. И отовсюду с других мест поперли прямые. Вырубаешь 6 протокол, начинаешь разгребать.

А потом приходишь сюда, а здесь какой-то извините говносайт с 50 посетителями рассказывает каждый день как он выловил одного очередного  бота и заставил его зря палить электричество.


Неуловимый ДЖО. Который неуловимый потому, что никому не нужен и никому не интересен.

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
sma858
На сайте с 07.07.2009
Offline
126
#922
Openso #:

У меня на сайте было около 15000 ботов в день как прямых, так и по поисковым фразам. Чтобы тут не говорили на пользователя "softerra" - но он реально прав. Стоит только заблочить битерику и всё стает на место, потом правда ещё с ipv6 повалили, но отключил ivp6 на хостинге и всё ок. 

Тут возможно нужды у всех разные. Если у кого-то статейник обычный то клауд им поможет. Но в моем конкретном случае (загрузочный трафик) от клауда было больше гемороя чем пользы.

ipv6 тоже отлично блокируются по подсетям 
Александр
На сайте с 18.03.2020
Offline
198
#923
шинкарев #:
Было 45 000 - 48 000 в сутки, из них 98% прямые. Вчера 300 уников, все поведенческие взлетели в 3-4 раза.

Когда сайт начнет пробиваться из-за ПФ в топы - бототраф опять пойдет, так как они пасут первые страницы, все что ниже, к примеру топ 20 - не интересно.

У меня есть сайт ИМ, с 2019 года на нем пасутся боты, а ему вообще - побоку все. Я там ничего не делаю. Траф нишевый, точечный, заказы идут.
Тоже смотрю метрики, логи, собираю стату для себя.

Есть информационники, нишевые, широкого спектра. Вот тут уже веселее все. Логов там по 100к в день ;)
От банального брутфорса в админку, до заходов из ПС с ключом, а по вебвизору - явный бот с одинаковым сценарием - вот с ними сложно, так как, в основном, прут: с AS42610 Rostelecom; AS31163 PJSC MegaFon; и т.д. откуда прут и обычные люди.

softerra
На сайте с 02.10.2023
Offline
99
#924
Александр #:

Когда сайт начнет пробиваться из-за ПФ в топы - бототраф опять пойдет, так как они пасут первые страницы, все что ниже, к примеру топ 20 - не интересно.

У меня есть сайт ИМ, с 2019 года на нем пасутся боты, а ему вообще - побоку все. Я там ничего не делаю. Траф нишевый, точечный, заказы идут.
Тоже смотрю метрики, логи, собираю стату для себя.

Мне кажется, что ботов заказывают конкуренты. В ИМ каждый визит с поиска - потенциальный покупатель. У меня рекламы нет на сайте. Нафик он сдался ботофермам просто так, на автомате. Не верю, что боты сами мониторят все топы.

У меня (у клиента) тоже идут заказы и это не нравится конкурентам. Самый дешевый товар от 1800 р, берут по несколько шт часто. Это не сайтики с гороскопчиками и статейками обвешанные рекламой. Борьба за покупателя )

png screenshot_20.png
Александр
На сайте с 18.03.2020
Offline
198
#925
softerra #:

Мне кажется, что ботов заказывают конкуренты.
Не верю, что боты сами мониторят все топы.

Бывают и конкуренты, но в e-commerce эти маркеры уже давно читаются ;)
И тут уже идет конкурентная борьба за клиента и противодействие этим событиям.

Нет никакой сложности программно идти на сайты из топ-20, это делается на автомате. А про нужду это делать я описывал выше про это.

RC
На сайте с 04.06.2023
Offline
11
#926
Думаю, почему бы и не поделиться. 

У меня информационный сайт. В мае трафик сильно возрос, выводы сразу сделал - в мир проникли демоны, и пошёл искать способы остановить эту напасть. Благодаря этому порталу и соседней теме, удалось настроить cloudflare с запретом на пустых реферов + по мелочам, после чего через .htaccess заблочил битерику (как прочекал через метрику потом, она действительно там была, но до этого момента особо не беспокоила) и до кучи ещё всякой шушеры. Как итог: трафик нормализовался за пару дней, и в завершение я наконец-то решился отключить турбо-страницы, потому что... ну, они от лукавого.

И всё было хорошо, пока народ огня не развязал войну (с).

Пару дней назад трафик вырос раза в три, если не больше. "Ура! Яндекс меня оценил!", - возрадовалась душа. "Нет, дурак, тебя заметили боты (зачёркнуто) демоны", - выдал мне голос разума. В метрике эти демоны не показывались, как отследить не знал. Благодаря этой темке и советам отзывчивых ребят, вырезал AAAA записи (проживаю в REG), отключил на хосте ipv6, вырезал АААА в  cloudflare. Но это не помогло - легион демонический и не думал отступать. И тогда, чудом, в сети, пока искал способы отключения ipv6 наткнулся на информацию, что в  cloudflare есть маааленький пунктик, который самостоятельно подрубает ipv6 и отключается только по платной подписки. Об этом уже здесь упоминалось, просто для не про-хацкера вроде меня это не было очевидным.

По итогу, через скрипт, API и командную строку (мне не помог терминал, а вот через CMD всё заработало) эта штука отрубается без платной подписки. 
И вуаля, демонов и след простыл. Так что обязательно обратите на это внимание, коллеги. В поиске об этом упоминается по запросу: "Как отключить ipv6 в cloudflare". 

Хотел бы ещё раз поблагодарить всех, кто пишет здесь о проблемах и тех, кто помогает их решать. Вы - лучшие. Демоноводам же желаю... всех благ.
Да... всех благ (нет).
katenuha
На сайте с 13.06.2013
Offline
156
#927

стоит волноваться?

и куда смотреть еще


роботы никогда не беспокоили особо, но чет эта тема очень популярна, поэтому лучше перебдеть 

softerra
На сайте с 02.10.2023
Offline
99
#928

Клаудфлеристы прозой начали писать.

Скоро похоже стихами в рифму начтнут тему заваливать.

А тем временем магазинчик обслуживает покупателей без лишней суеты и мороки. Чисто на серверных блоках.


W2
На сайте с 09.07.2007
Offline
135
#929
softerra #:
Чисто на серверных блоках.

Какой процент отказов и роботность за последний месяц скрин можно увидеть?

Y8
На сайте с 14.12.2016
Offline
71
#930
softerra #:

Клаудфлеристы прозой начали писать.

Скоро похоже стихами в рифму начтнут тему заваливать.

А тем временем магазинчик обслуживает покупателей без лишней суеты и мороки. Чисто на серверных блоках.


С таким трафиком и соответственно позициями, вы просто еще не попали в базу.

Вот скрин небольшого сайта вообще без каких либо фильтров и блоков, с ростом позиций боты потихоньку начали появляться.


Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий