Я тут простую истину скажу, хотя с ней многие не согласны - компания потому и крупная, что обманывает по крупному.
Да, берут количеством.
Не надо вводить в заблуждение. Никакая половина трафика не уйдет. Здесь подобраны фильтры для того, чтобы беспрепятственно пускать трафик с поисковых систем, а ботам выдавать капчу, то же самое делает яша, гугл и прочие.
Касательно AS сетей, кто хочет тот, пусть проверит, это совсем не сложно. Там собраны AS различных хостингов и датацентров, где живут ботнеты и нет провайдеров интернета. Разумеется, если на этих хостингах крутятся ВПНы и порядочный пользователь их использует, то фильтр сработает, но не заблокирует, а выведет капчу. Далее пару раз в неделю можно проанализировать логи и особо рьяных ботов заблочить уже жестко.
В моем случае с сеткой в 18 сайтов с посещаемостью каждого от 20 до 150 тысяч уников в сутки это правило помогло решить проблему скликивания рекламы, спама и прочего. При этом посещаемость конечно просела немного, но просела только на объем заблоченых ботов. При этом вырасло ощутимо среднее время прибывания на сайте и переходов внутри. Ну и в довесок доход не упал вообще, что как раз и говорит о том, что живые люди, как посещали, так и посещают и никакого полезного трафика не потеряно.
Так что вы зря так скептически относитесь и пытаетесь принизить эффективность приведенных правил.
Я не принижаю правила, я объясняю что блокировка стран подойдет не для всех. Если у Вас трафик из СНГ, это не значит что у других он такой же.
После того как добавил в CloudFlarе правило блокировки посетителей с пустым user-agent, стал замечать в активити логах этого правила кучу переходов с подсети AS396507 EMERALD-ONION. Затем начал экспериментировать с правилом Threat Score (тестировал с Managed Challenge, не блокировал) и там тоже появилось очень много переходов с этой подсети. Проверил по CleanTalk и оказалось, что у них Spam Rate аж 88,51%.
Собственно, вопрос - есть ли вероятность, что на полностью белый сайт для людей могут заходить живые посетители с браузером Tor? Или можно смело блокировать эту подсеть, как AS35048 Biterika Group LLC?
Emerald Onion — это некоммерческая организация 501(c)(3) и транзитный интернет-провайдер (ISP), базирующаяся в Сиэтле, штат Вашингтон. Миссия Emerald Onion заключается в защите конфиденциальности, анонимности, доступа к информации и свободы слова в Интернете. Для выполнения этой миссии Emerald Onion использует высокопроизводительные, полностью открытые выходные маршрутизаторы Tor с подключением к Seattle Internet Exchange, Fremont Cabal Internet Exchange и Berlin Commercial Internet Exchange. Emerald Onion представляет себе мир, в котором доступ и конфиденциальность являются приоритетами по умолчанию; Если у нас не будет прав человека в Интернете, у нас не будет их и в реальной жизни.
Если у Вас белый сайт, то нет в этой сети норм трафика. Допустим на одном проекте трафик 50к в день, из этой сети 80 человек в день, половина из этой сети идут как Ukraine.Если возрастная тематика сайта допустим +50, то явно что бабушки не сидят в Tor. Блокируйте.
(ip.geoip.asnum in {8075 396982 15169 16509} and not cf.client.bot)
Google Cloud и Azure блок, мб что то еще есть, но вот так.
Подняли до 15%, скоро можно будет закупать $
Как дополнение к основной защите это хорошо. Но в основном копируют не ручками, а ботами (скриптами, парсерами), если и ручками - то все лишнее удаляют. Я видел людей, которые самостоятельно копируют контент..)
ко мне просто заходят с мобил, разные айпи, читают одну и ту же статью, скролят туды-сюды
И как таких детектировать то? Это же не ДДОС и не парсинг
Читайте соседнюю ветку про Cloudflare. В идеале вы можете подключить сбор айпи в яндекс метрике, поставить клауд и анализировать заходы по айпи - искать что-то общее (AS Сеть, user agent, и другие значения и блокировать).
Смысл есть в практике (нужно пробовать). Есть куча готовых решений с установкой в два клика ( Redis Object Cache ). У Вас кэширование страниц, но запросы все равно идут в базу - картинки, админка, создание записей.
Если сайт с большим количество записей и посетителей, то разницу по нагрузке Вы обязательно увидите. Главное все верно настроить.
Да и не используйте, придумайте свое хорошее, годное правило и поделитесь. )))))))
Реферер с "" - это пустой, он добавлен, в довесок к нему добавлен реферер "-", так как в моем случае много было посещений с таким реферером.
Касательно сокращений методом "in" согласен. В моем правиле просто со временем добавлялись сети, потому они отдельно и идут. ))
Уточняю - это правило подходит мне и показало свою эффективность в борьбе с ботностью, спамом и скликиванием. Если есть мысли, как его расширить, то предлагайте конструктивно.
Давно все придумано и много информации в разных ветках на форуме. Я лишь сообщил что Ваше правило не уникальное и чисто для вашего сайта. Кто то зайдет и бездумно вставит, а у него половина трафика уйдет. Люди если делятся тут AS сетями, то расписывают почему заблокали и что за сеть.
Бездумно копировать и блокировать AS сети без их разбора в здравом уме никто не будет. Потому что непонятно что Вы там делали и почему решили блокнуть.
Да и не использую, настройка каждого сайта уникальна и зависит от самого сайта, какие он перед собой задачи ставит.
