Помощь в фильтрации ботов через CloudFlare

S
На сайте с 12.10.2012
Offline
210
#431
Automaster #:
Найдены страницы-дубли с GET-параметрами
Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.


В общем, ругается на get-параметр __cf_chl_tk

А без CF такого не было? Какая CMS?
A
На сайте с 15.03.2008
Offline
130
#432
sagamorr #:
А без CF такого не было? Какая CMS?
Не было. Потому что эти страницы создаются как раз средствами CF - когда идёт проверка. CMS - WP, но я думаю не от неё зависит.
RS
На сайте с 05.05.2023
Offline
10
#433
Automaster #:
Найдены страницы-дубли с GET-параметрами
Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.


В общем, ругается на get-параметр __cf_chl_tk

Надо в robots.txt написать в конце файла после всех Disallow:

User-agent: Yandex

Clean-param: __cf_chl_tk

На скриншоте.

jpg 2023-07-31_15-37-02.jpg
A
На сайте с 15.03.2008
Offline
130
#434
RomarioSpirtberg #:

User-agent: Yandex

Clean-param: __cf_chl_tk

О, спасибо за данное решение. У меня было немного по-другому. К универсальному селектору * были прописаны Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&ysclid&__cf_chl_tk. Может из-за этого Яндекс не понимал.
RS
На сайте с 05.05.2023
Offline
10
#435
Automaster #:
О, спасибо за данное решение. У меня было немного по-другому. К универсальному селектору * были прописаны Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&ysclid&__cf_chl_tk. Может из-за этого Яндекс не понимал.

Надо каждый  Clean-param писать с новой строки.

A
На сайте с 15.03.2008
Offline
130
#436
RomarioSpirtberg #:

Надо каждый  Clean-param писать с новой строки.

Да вроде можно и через & перечислять все параметры. Кто как делает. Главное, чтобы работало, но все-таки сделал отдельное правило - Clean-param: __cf_chl_tk.
A
На сайте с 30.04.2012
Offline
84
#437
sagamorr #:

Вы делали настройку по статье vc?

Для правила с проверкой пустого реферера поставьте Managed Challenge, за место JS.

И отключите правило с проверкой IPV6, там большая часть нормальных юзеров попадает под проверку и проходят ее, поэтому и внутренние переходы растут.


Здравствуйте, приложил настройки CF по вашим рекомендациям, можете посмотреть , я все учел?

png 1.png
png 2.png
png 3.png
C
На сайте с 13.01.2017
Offline
72
#438
В итоге какие настройки ставить для эффективной фильтрации ботов?
A
На сайте с 15.03.2008
Offline
130
#439
Alim #:


Здравствуйте, приложил настройки CF по вашим рекомендациям, можете посмотреть , я все учел?

Нужно заходы с IPV6 полностью отключать в CF, как это сделать написано пару страниц назад. Если конечно сам хостинг не поддерживает IPV6.

Я бы рекомендовал правило с HTTP<2 полностью блокировать. Там один мусор, но это на ваше усмотрение.

А чтобы избавиться от других ботов, нужно смотреть вебвизор и логи сайта - и блокировать ботов выборочно.  Ну и битерику AS35048 можно заблокировать.

P.S. Многие советуют ставить капчу на ВСЕ прямые заходы, но я вот данного правило не придерживаюсь, потому что под капчу попадут и нормальные пользователи.

S
На сайте с 12.10.2012
Offline
210
#440
Alim #:


Здравствуйте, приложил настройки CF по вашим рекомендациям, можете посмотреть , я все учел?

Я IPv6 не трогал. С него идут нормальные пользователи и заявки, проверял. Наверное можно их отключить, тогда вместо v6 пойдут v4, но в своем случае не вижу смысла т.к 95% визитов идут с ipv4.

В правиле где проверка на прямого реферера оставил только его. Проверку на HTTP убрал. Проверку на вхождение utm перенес в отдельное правило, где сразу блокировка.


Еще (как вам уже посоветовали) создайте отдельное правило для блокировки. Оно пойдет сразу после Good Bots. Туда добавьте всю сеть битерики по AS num и спам визиты с UTM.

Так же в процессе настройки смотрите какие боты обходят все проверки и блокируйте их по AS вместе с проверкой на пустого реферера.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий