Помощь в фильтрации ботов через CloudFlare

NM
На сайте с 18.02.2011
Offline
181
#61
sagamorr #:
Наверное у CF для ботов гугла какой то список IP есть в Known Bots .
Странно выглядит, конечно. У меня почти все блокировки этого ASN по правилу SSL / IPV6. Т.е. как бота пропускает, а дальше из-за протокола стопорит. Есть сомнения, что что-то маскируется под гугл бота. Наверно нужно ASN добавлять в исключения в первом правиле.  Или, как здесь писали, в CF отрубать IPV6, чтоб с гуглом не поиметь проблем.
https://clck.ru/37jxNm пытаюсь здесь отбить просадку в РСЯ Распродажа сайтов https://docs.google.com/spreadsheets/d/1m63GJQUZMrrhTxT2aoAQBX_722Kte2PfvTQEON_SgGE/
S
На сайте с 12.10.2012
Offline
200
#62
NewMoneyMaker #:
Странно выглядит, конечно. У меня почти все блокировки этого ASN по правилу SSL / IPV6. Т.е. как бота пропускает, а дальше из-за протокола стопорит. Есть сомнения, что что-то маскируется под гугл бота. Наверно нужно ASN добавлять в исключения в первом правиле.  Или, как здесь писали, в CF отрубать IPV6, чтоб с гуглом не поиметь проблем.

Я блокировку IP6 отключил. AS в исключения тоже думаю не смысла добавлять, т.к как вы писали кто то кроме гугла так же использует их сеть.

Не думаю, что у CF могут быть проблемы с ботами гугла, т.к он стоит на огромном количестве сайтов бурже и их бы уже претензиями завалили, т.к большинство юзает платные тарифы.

NM
На сайте с 18.02.2011
Offline
181
#63
sagamorr #:
Я блокировку IP6 отключил.

А где в CF находится тот самый неактивный тумблер IPV6?

Облазил вкладки меню, но так его и не нашел.

alaev
На сайте с 18.11.2010
Online
693
#64
NewMoneyMaker #:
Странно выглядит, конечно. У меня почти все блокировки этого ASN по правилу SSL / IPV6. Т.е. как бота пропускает, а дальше из-за протокола стопорит. Есть сомнения, что что-то маскируется под гугл бота. Наверно нужно ASN добавлять в исключения в первом правиле.  Или, как здесь писали, в CF отрубать IPV6, чтоб с гуглом не поиметь проблем.

Именно Google cloudflare пропустит без проблем. Cf очень много ботов пускает, которые лучше банить, ибо под их видом лезут ещё и всякие парсеры и прочая дрянь.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
NM
На сайте с 18.02.2011
Offline
181
#65
Тумблер

Это ведь и есть тот самый тумблер в нужном положении (на скрине) и IPv6 требуется отключать для каждого сайта отдельно?

Как, кстати, будет виден эффект после отключения. В логах CF что-то можно заметить или это "неосязаемо" будет в статистике?

На просторах форума видел еще, что также надо отключать IPv6 еще и на своем хостинге. В этом есть смысл, если запросы идут все равно через CF?

И вот это правило тогда уже неактуально становится при отключении тумблером?

2

S
На сайте с 12.10.2012
Offline
200
#66
alaev #:

Именно Google cloudflare пропустит без проблем. Cf очень много ботов пускает, которые лучше банить, ибо под их видом лезут ещё и всякие парсеры и прочая дрянь.

Да ладно? Есть примеры того, что через Known Bots проходят какие то вредные боты или парсеры?

Краулеры собирающие статистику не вижу смысла банить, т.к нагрузки на сервак они создают и в статистике их вообще не видно.

S
На сайте с 12.10.2012
Offline
200
#67
NewMoneyMaker #:

А где в CF находится тот самый неактивный тумблер IPV6?

Облазил вкладки меню, но так его и не нашел.

Я имел ввиду одно из правил, в статье на vc (которое у вас на 2м фото). Я его сделал по инструкции, потестил, но потом выключил.
NM
На сайте с 18.02.2011
Offline
181
#68
sagamorr #:
Я имел ввиду одно из правил, в статье на vc (которое у вас на 2м фото). Я его сделал по инструкции, потестил, но потом выключил.

Тогда видимо неправильно понял вас изначально. Т.е. это правило не применяли и тумблером IPv6 тоже не отключали?

S
На сайте с 12.10.2012
Offline
200
#69
NewMoneyMaker #:

Тогда видимо неправильно понял вас изначально. Т.е. это правило не применяли и тумблером IPv6 тоже не отключали?


Это не пробовал и не стал бы использовать. У меня на всех формах с сайтов выводятся IP и не редко бывает что реальные клиенты заказывают с IPv6.

A
На сайте с 03.08.2017
Offline
79
#70

В общем и целом, уже 2 недели мучаюсь с настройкой CF - не помогает ничего. Уже начал блокировать и отдельные ip, и целые сети по ASN, и целые страны. Судя по статистике CF, каждый день по 2-3к блоков срабатывает. Но ва место старых ботов приходят новые, с других ip и сетей.

Выше в ветке показывал, как пытался выдавать капчу всем, кто идет не через поиск - в итоге в метрике все переходы числятся как внутренние, поисковых фраз не видно.

Живой трафик падает. Каждый день роботность под 80-90%. В службе поддеркжи дали стандартные ответы мол роботы ни на что не влияют. Что еще сделать, я не знаю. Может быть найдутся еще советы у умных людей здесь?

Больно наблюдать эту картину изо дня в день и не иметь возможности на это повлиять.


Занимаюсь заработком в интернете. Могу проконсультировать по созданию, продвижению сайтов, работе с ПФ, фильтрации ботов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий