sagamorr

Рейтинг
236
Регистрация
12.10.2012
11
Александр #:

Если в динамике смотреть - да.
Сайт все время развивается.
Т.е., тот объем информации, который сейчас есть на сайте может охватить до 1к в сутки (это просто наблюдение, которое я вывел исходя из статистических данных, которые я собираю каждый день).

Остальное влияние ботов на сайт я собираю и сделаю для себя вывод через год: на сколько влияют, как, что происходит со страницами, позициями, ключами, сайтом в целом и т.д.
Пока рано говорить об аховом влиянии ботов на сайт. Кстати, ранее я утверждал, что боты вообще ни на что не влияют, сейчас же, я пересмотрел это мнение: влияют. Как? - будет видно позже.

Проведите эксперимент. Поставьте на этот сайт CF и поставьте фильтр на спам сети и прямые заходы. Посмотрите, что будет через неделю. Уверяю, что уровень влияния ботов на сайт гораздо выше, чем вам кажется.
Mik Foxi #:

не надо давать такие советы, многие повторят не думая. а потом если это клиентский сайт на эти регионы, то можно и по голове от клиента схватить за бан целевого целого региона 😀 так баловаться щедро баня целыми региональными провайдерами можно на своем некоммерческом сайте, где не важно есть траф или нету. 

Я перед тем как отрубать, посмотрел логи за неделю, на мои сайты с этим сетей только боты идут, не меньше чем с битерики.

Alvest #:

Так у меня 3 первых правила настроены по этому гайду. Bad Crawler тоже прописывал, но за несколько дней был показатель был 0 - убрал. 

Битерика прописана в .htaccess

Помимо Битерики в бан можно еще:

  • AS25513 ASN-MGTS-USPD
  • AS52207 TULA-AS
  • AS25159 SONICDUO-AS

Откройте вебвизор и ищите в нем спамные переходы по ссылкам. Посмотрите время визита в вебвизоре и после этого ищите в Event такое событие с этим временем.

Раскрывайте кликом события, там будут параметры запроса. Спамный домен по идеи должен быть в параметре Query string. Если все так, то сюда выложите, либо мне в ЛС скиньте 2-3 примера таких запросов.

alaev #:

Кто такие настройки-то дал? Зачем ipv6 ломятся на сайт? Почему битерика не в бане?

Вот тут норм настройки

https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov

Остальное уже можно руками чистить и в бан по asn или стране.

Это с этой статьи такие настройки.

Правда IPV6 я отключил, т.к бывает ловит тех, кто через vpn сидит.

Alvest #:

Коллеги, может кто подсказать. Почему-то не работает фильтр по URL. В чем может быть причина?

Переходы по ссылкам на сайтах снова вечером поперли, как и обычно с 18:00

Попробуйте это правило поднять, пусть будет вторым по счету.

Поищите еще эти переходы в Events (над WAF во вкладке) и скиньте сюда 2-3 примера.

У меня сегодня по одному из сайтов поперли боты с Битерики, у которых в User Agent добавлен Yandex, так что проверять по AS Num надо.
Alvest #:

Понял, спасибо! А в остальном я правильно добавил правило?

Да, еще как тут писали в другой ветке, я добавляю AS сеть Яндекса


Alvest #:

Так должно выглядеть? И я правильно понимаю, что нужно указывать IP от CF, который выдает на 2ip?

Нет, IP вашего сервера. Можно посмотреть в разделе DNS на хостинге или в CF на вкладке DNS.


Alvest #:

А можно какую-то инструкцию? Не понимаю, о чем идет речь

Сайты на WordPress автоматически запускают служебные процессы через планировщик на сервере. Нужно добавить IP адрес вашего сервера в первое правило, где у вас Known Bots стоит.
Всего: 1954