Анти БОТ

Ну вы у вашфрилансер поспрашивайте, вы этот набор правил совместно делали / обсуждали чуть выше.

Но я бы на вашем месте посмотрел бы вот на что:

or (not http.referer contains "yandex") or (not http.referer contains "google") or (not http.referer contains "bing")

Это разные, независимые правила. И каждое из них исключает предыдущие. 

• Я перехожу на ваш сайт из Яндекса. Реферера Гугла у меня при этом нет. Капча в зубы.
• Я перехожу на ваш сайт из Гугла. Реферера Яндекса у меня при этом нет. Капча в зубы.
• Ну по поводу Бинг и ya.ru вы уже поняли.

Ну вы в одном предложении смешали в кучу поведенческие переходы с Ростелеком, и ДДОС.
Вот отсюда потом и появляются все эти заблуждения на тему, что из себя представляет ДДОС-атака. Ну и компанией зачем-то вцепились в бедный AS. Здесь выкладывали ранее в ветках полноценный перечень из AS, там больше 1000 строк, замучаетесь проверять на актуальность. А не амазон с диджиталом, и все.

Версий уже несколько. ДДОС это:
- поведенческие боты с Ростелеком Краснодар и с Мегафона
- сканер Ahrefs
- кто-то запустил Screaming Frog
- пришел Яндекс, подозрительно сканирует сайт
- это все выдумки, ботов и ддоса не существует, достаточно только битерике дать в зубы 403, пусть бакланы палят электричество почем зря.

В метрике это прямые, или внутренние переходы?

Из топика в топик красной мыслью проходит мысль: клауд это инструмент. Если кто-то не знает, с какой стороны к этому инструменту вообще подходить, то он и будет потом говном исходиться, мол я это включил а оно не работает. Все вокруг отстой, ваши антиддосы это развод.

Потому что мало включить, настраивать нужно. Неделями и месяцами сидеть учиться разбираться, как этим вообще пользоваться, какие типы атак бывают, какие паттерны атак бывают, какие паттерны при атаке на вас, и проч.

А не так, что любой Вася с улицы одним взмахом, нажатием одной волшебной кнопки, отбивает ДДОСы одной левой.

Купите себе подписку на стрессер, и экспериментрируйте. Вместо теоретических рассуждений на форумах. Это сейчас стоит копейки.

Ага, и в одну секунду все они ринулись на страницы вашего сайта. Люди из Бангладеш и Индии, по протоколу http1. Которых забанило навсегда, и всех их родственников забанило, и они теперь плачут от горя, потому что больше никогда в жизни не увидят то, что вы там у себя на сайте продаете. 

Я же не просто так спросил в самом начале, вы хоть раз ДДОС видели в жизни, или нет. И смогли ли вообще уловить, чем друг от друга отличаются все эти Layer с цифрами, или посчитали что это яйцеголовые админы так ругаются между собой, и пропустили мимо ушей. Редиска - Layer 4. Лох - Layer 7. Просто это шифры такие, чтобы никто не догадался 😭

Ну и насчет бана хостинговых сеток, вам в голову не может прийти то, о чем вы не имеете представления. Например что дырявые сайты могут быть участниками ддос-атаки (не по свой воле, кхе-кхе), и часть трафика отсекается именно баном определенных AS.

А HTTP1 - это такой шифр для избранных, но так как буквы незнакомые, то тоже пропустим мимо ушей.

Поэтому не стоит дальше развивать непонятные фантазии и спорить с другими участниками ветки на темы, в которых вы вообще не разбираетесь. Вон sagamorr поспорил с троллем, который навалил на вентилятор каких-то бредовых только что выдуманных утверждений (наподобие того как он забивает канал клауда одним пуком), теперь день-два в бане от форума ни за что отдыхает.

Главную мысль вы уловили. Cloudflare тянет.

Сколько интересных версий.
Добавлю еще одну. Капча не пройдена.
В этом случае всегда вот так вот в логах. Ну почти всегда, изредка еще вебманифест видел.

Я не про fail2ban или iptables писал. Он захлебнется при нормальной атаке. А лог просто ужрет все свободное место на сервере.
При грамотном ддос на настроенный сервер очень быстро вычисляется тот порог, сколько запросов в период - потолок. И ставится частота чуть меньше. Ну и отдельных айпишников будет не 3300, а в 10 раз больше (или вообще миллион ipv6). Или в 100 раз больше, тайские, индонезийские, корейские и бразильские посетители повалят на ваш сайт огромным косяком, но с малой частотой.
И будет например 8 коннектов в 10 секунд по ipv4 (при вашем пороге 10 запросов в 10 секунд - бан), ну и все, сервер прилег.
Или 100 вагонов айпишников ipv6, ни одного повторения. И что вы с ними сделаете, если не додумаетесь вырубить протокол? Да ничего. 

Ну или параметры добавить в каждый коннект рандомные (site.ru/?=hfhfrrtt), и ваш сервер извините обосрется. Потому что будет собирать каждую такую страницу как уникальную. И сколько бы там ни было ядер и памяти, она ужрется почти мгновенно.

Я писал про клауд. В бесплатном тарифе в клауде нет настроек банить такой-то айпи при стольки-то запросах. Ну вернее есть, но там настолько корявка, что лучше ее не трогать.

Поэтому если нет бана по другим критериям, то сайт за клаудом при желании можно уложить достаточно малым количеством айпи, но с высокой частотой.
Ну и обратный пример, если паттерн блокировки на клауде настроен, то количество входящего под бан трафика также не имеет значения. Хоть 100 тыс уникальных коннектов с уникальных айпи, хоть 100 млн коннектов.
Также не стоит забывать, что клауд сеть распределенная, и коннекты приходят на клауд на ближайший сервак, а не все 100 млн скопом на один.

Да блоканите через htaccess Битерику и RankTech. Отключите поддержку IPv6 на сервере.
После этого посидите в логах, поизучайте айпишники. Докиньте по диапазонам в блок.

Это все обсуждают в ветке про клауд, каждый кто не ленится мог уже 100 раз себе переписать оттуда список наиболее спамных подсетей, и при нахождении их у себя в логах - вносить диапазон в бан в хтассессе. 

Ну а то что у вас не получилось настроить клауд, - это не в клауде дело.

Можно привести аналогию с авиалайнером. Одно дело сидеть в кресле пассажира и рассуждать о том как просто управлять самолетом, вы же об этом читали на форуме.
А другое дело - когда вас запихнули в кабину и сказали - сажай самолет. А там одних только тумблеров и разных моргающих кнопочек столько, что с ума сойти. А все ваши знания об управлении самолетами ограничиваются просмотром вот этого скетч-шоу когда-то.

Ну а вы такой - все самолеты глючные 🤣

Благо клаудом дело ведь не ограничивается, сделайте то что я расписал выше, и будет вам счастье.

Ну а счетчик метрики... С чего вы взяли, что только через метрику тот же яндекс получает всю необходимую информацию? Да хоть снесите его, и фольгой обмотайтесь. Думаете, это поможет вам избежать бана?

Кстати, дам обратную связь.
В 5.17 мне на сервер накидали около 170 тысяч запросов. Как понимаю, проверить мои утверждения, чуть ранее в этом топике )

Вот только сейчас в клауд занесло.
Трафик в основном из Азии и обоих Америк, ну и так по мелочи со всего мира. Уникальных устройств не так много - около 3300 штук.

Проверяющий надежность клауда пользуется услугами провайдера Альянс-Телеком. Проверял ляжет ли сайт, ходил по страницам, заодно отсветил свой айпишник. Там просто во время тестового ддоса в логах сервера больше ничего нет, только он.

Если у кого-то будет желание погонять потестировать систему, я всегда рад такой возможности. Но чтобы в этот момент оба были онлайн, и я видел, есть ли на самом сервере дополнительная нагрузка. Велкам тогда в личку.

Стресс-тест начального уровня. Просто попытка забить канал коннектами на главную. При заказном ДДОС используются совсем другие паттерны.

Ну я тоже так делаю, однако вопрос был именно про блокировку в правилах.
Для правил, чтобы понимать в чем именно не работает, добавляют ссылку в вк, и сразу смотрят Evens, вычисляя в данном конкретном заходе где именно блокируется, так как в логе есть все необходимые данные.