Так по идее должно блочить или выкидывать капчу при любом переходе внутри сайта.
Бывает, но при долгом бездействии на сайте, если после переходишь на другую страницу, то иногда вылетает повторная проверка. Но если уже попал на сайт и переходишь по ссылкам, то всё ок. Во всяком случае пока наблюдаю такую картину.
Товарищи как блокируете ботов идущие через прямые заходы, подставляющие вместо реферера адрес загружаемой страницы..
Правило AS сеть + пустой реферер, на них не действует.
Я их заблокировал добавив в одно правило на проверку такой код: or (http.referer contains "домен моего сайта").
Но при этом в правило выше, где skip, пришлось добавлять or (http.request.uri contains ".css") or (http.request.uri contains ".jpg" (или любой нужный формат картинок)), также js файлы и т. д. Иначе стили слетят и не будут загружаться картинки. Будьте с этим очень аккуратны. Наверняка есть решения и получше, просто делюсь способом, которым воспользовался сам.
тоже билайн стал блокировать CloudFlare .
Сегодня через раз не получается зайти на сайт. Буквально только 2 месяца назад наконец то довёл правила в CF до ума и практически вычистил ботов. И тут Билайн, получается, стал палки в колёса вставлять.
Интересно есть ли какое то решение этой проблемы? Помимо того, чтоб убрать CF и распахнуть ворота для орд этой нечисти. Если провайдеры повсеместно станут блочить CF.
Возможно провайдер блокирует, я недавно стал сталкиваться, билайн (уже про него писали что блочит CloudFlare), включаю GoodbyeDPI или ВПН, иногда само проходит.
Все верно, Вы на правильному пути. Боты давно так делают, а метрика засчитывает как прямой заход.
Вам нужно или более дtтельное правило сделать, типо если содержит реферер (пустой или домен) и допустим идут на главную то проверка - эти боты ходя обычно на главную или на одинаковые URL. Тогда со стилями будет все норм. На крайний случай в правило выше можно добавить правило. которое разрешает стили и прочее. Загрузка стиля же происходит с пустым referer, как прямой заход.
Вот просто пример: (http.request.uri contains ".css") or (http.request.uri contains "wp-content")
Расположение правил - имеет место быть.
Спасибо Вам огромнейшее!!
Теперь вроде всё работает. Решил проблему так. В первое правило, где пропускать всех белых ботов, в самом конце дописал or (http.request.uri contains ".css") , а в правило, которое у меня идёт четвёртым по счёту вернул запись or (http.referer contains " домен моего сайта ") в самый конец. Целиком это правило теперь выглядит как описывал выше: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "") or (http.referer contains " домен моего сайта ")
С августа месяца такой жести не видел, прям вьетнамские флешбэки из тех времён, когда непонятная нечисть ломится на сайт и не представляешь, что с этим делать. Из плюсов только то, что благодаря им и поиску решения проблемы, наткнулся на этот форум. Где и узнал, что проблема оказывается массовая, к сожалению.
Еще раз посмотрел. Оказывается не совсем так, расхождение по времени есть. Сначала идет заход на главную страницу, КФ показывает капчу, ее, вероятно, бот не проходит. Однако через 40 секунд с того же айпи идет повторный заход, и вот он уже проходит. У меня еще стоит LI счетчик, так вот обычно прямые заходы с пустым реферрером отображаются, как переходы из закладок. А у этих переходов в реферрере указан мой же домен.
Спасибо за наводку, добавил в одно правило на проверку : http.referer contains "домен моего сайта"
Полностью правило выглядит так: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "") or (http.referer contains " домен моего сайта ")
И все эти новые хитрые боты по прямым заходом, которые начали ломиться сегодня, отсеялись. Но появилась другая проблема, попросил друга зайти на сайт, он сказал, что у него стили не подключились, причём пробовал с разных браузеров. Я заходил и с ПК и с телефон, всё нормально. Как вот теперь эту проблему решить и почему она появилась? Когда убирал последнюю часть правила (http.referer contains " домен моего сайта ") стили снова начинали работать у него. Сам к сожалению слишком мало понимаю в этих вопросах((.
Аналогично! В 12:40 началась накрутка и я ума не приложу, как они обходят CF. До этого долгие месяцы подобные проблемы не наблюдались. Неужели и это научились обходить нагульщики...
А Вы не смотрели в метрике с каких стран идут эти "боты" на Ваши URL?. Мб условно страница для ру, а идут с Китая. Есть смысл блокать правилом весь китай или допустим на этих страницах.Также можно сделать логирование Ваших страниц клаудом и посмотреть что общего у ботов по логам.
Дополнительно можно убрать счетчики, но нужно решать причину.
