Резкий всплеск прямых заходов. Как бороться?

E
На сайте с 30.03.2010
Offline
91
eos
#71
Mik Foxi #:

проверьте сами, точно ли у вас там капча. если это не ваши заклятые враги вам сайт портят персонально, никто не будет на рандомном сайте разгадывать капчи, это дорого и по деньгам и по времени и по ресурсам сервера/компа, с которого запускается софт, сайтов в интернете кроме вашего полно, проще на них походить, чем на ваш ломиться.

Вот я и не могу понять работает ли вообще капча. Block - это я позже исходя из вашей инструкции попробовал убрать Challenge (Captcha) и поставил Block. До этого стояла капча.

Что такое Managed Challenge

Как понять прошел "юзер" в каждом конкретном случае проверку или нет.

Судя по метрике - трафик с включенной опцией  Challenge (Captcha) так и прет. снизился как раз на 20-30% неразгаданной капчи. То есть остальные прямые заходы проходят проверку капчей.

Я согласен с вами, что наверное ботоводу было бы проще перекинуть траф на другой сайт, чем тратиться на разгадывание капчи на моем. Но факт остается фактом(

123online #:

Именно так.
Можно для себя оставить дырочку чтобы не блочило по прямому заходу. Через куки например или IP если статика. 

Мне дырочка не нужна - я поставил правило не только реферер, но и содержание в урле определенного слова, т.к. прямой трафик идет не на главную, а на внутряки по одной схеме. на один тип страниц. Поэтому я спокойно могу войти.

Кстати, боты то тоже блокируются. Вот пример

Я думаю Семраш бот является известным и хорошим ботом для Клауда.

Delysid
На сайте с 27.05.2019
Offline
108
#72
eos #:
Что такое Managed Challenge

Managed Challenge - это запрос капчи был и она была пройдена путём введения.

Отключил Privacy Pass Support и сбрось кэш сайта.

У тебя скорее проблемы с логикой работы файрволла. 

Не в приоритентости настраиваешь и не правильно.

AfterWar
На сайте с 28.01.2013
Offline
144
#73

Я думаю Семраш бот является известным и хорошим ботом для Клауда.

Список Known Bots - то что пропускает Cloudflare

ahrefs

Ahrefs SEO bot

apple

Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions

archive.org

Archive.org bots

baidu

Baidu search engine bots

better uptime

Bot for monitoring website uptime

bing

Bing search engine bots

feedbin

Feedbin.com bots

google

Google search engine bots

grapeshot

Grapeshot (Oracle) SEO bots

linkedin

LinkedIn bots

mail.ru

Mail.ru bots

naver

Naver (South Korean) search engine bots

pingdom

Pingdom.com monitoring bots

pinterest

Pinterest bots

seznam

Seznam search engine bots

sogou

Sogou search engine bots

uptimerobot

Uptime Robot monitoring bots

yahoo

Yahoo! search engine bots

yandex

Yandex search engine bots

***

Если правило  Allow - то Known Bots - зеленая галочка 

Если Block - серая

У меня правила в Firewall rules расположены в таком порядке

1. Что жестко блокировать (Block - конкретные Usera Agents которые никак нельзя пропускать) 

2. Что Обязательно пропускать (первым Known Bots а дальше feedburner, pinterest, facebook и т.д.) 

3. Что пропускать через JS проверку ( все подозрительно и идущее через http/1.0 и 1.1, запросы к админке и т.п.)

ТО ЧТО ИДЕТ ВВЕРХУ ПО ПРАВИЛАМ CLOUDFLARE ПРИОРИТЕТНЕЕ К ВЫПОЛНЕНИЮ - то есть если вверху разрешить known bots а внизу логически запретить - то по общему правилу он разрешит.

⭐⭐⭐ЛУЧШАЯ АЛЬТЕРНАТИВА ADSENSE (ПЛАТЯТ, И ДЛЯ RU ДЛЯ БУРЖ) ( https://clck.ru/KgyqY )
E
На сайте с 30.03.2010
Offline
91
eos
#74
Delysid #:
Privacy Pass Support

Не нашел что это в справке Клауда - там только про расширение для браузера. У меня его нет. Вот текущие настройки.

По поводу Managed Captcha сейчас сам проверил - Клауд, если считает браузер "приличным", не показывает капчу. То есть заставить 100% всем пользователям, удовлетворяющим условиям показывать капчу я не могу.

Поэтому и процент прохождения капчи 65-80% был у меня на тесте. Бототрафик не разгадывает капчу - ему ее просто не показывают)


AfterWar #:

Список Known Bots - то что пропускает Cloudflare

ahrefs

Ahrefs SEO bot

apple

Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions

archive.org

Archive.org bots

baidu

Baidu search engine bots

better uptime

Bot for monitoring website uptime

bing

Bing search engine bots

feedbin

Feedbin.com bots

google

Google search engine bots

grapeshot

Grapeshot (Oracle) SEO bots

linkedin

LinkedIn bots

mail.ru

Mail.ru bots

naver

Naver (South Korean) search engine bots

pingdom

Pingdom.com monitoring bots

pinterest

Pinterest bots

seznam

Seznam search engine bots

sogou

Sogou search engine bots

uptimerobot

Uptime Robot monitoring bots

yahoo

Yahoo! search engine bots

yandex

Yandex search engine bots

***

Если правило  Allow - то Known Bots - зеленая галочка (

Если Block - серая

У меня правила в Firewall rules расположены в таком порядке

1. Что жестко блокировать (Block - конкретные Usera Agents которые никак нельзя пропускать) 

2. Что Обязательно пропускать (первым Known Bots а дальше feedburner, pinterest, facebook и т.д.) 

3. Что пропускать через JS проверку ( все подозрительно и идущее через http/1.0 и 1.1, запросы к админке и т.п.)

У меня правило Блок

О, спасибо за список ботов. Да фиг с ним с семрашем)))

Mik Foxi
На сайте с 02.03.2011
Offline
971
#75
eos #:
Я думаю Семраш бот является известным и хорошим ботом для Клауда.

https://developers.cloudflare.com/firewall/known-issues-and-faq#bots-currently-detected список тех, кого считает хорошими ботами по этому правилу.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html
B
На сайте с 26.05.2017
Offline
48
#76
123online #:

Спасибо. Попробую. Пока фильтр поставил на

Если referer пустой И в user-agent нет слова yandex, google, bing и mail

тогда Вы убьете всех, у кого в браузере есть Yandex (не помню у каких они были, но они есть), в добавок вебвизор посещает страницы без указания, что он бот "YandexMetrika" — будет просто браузер, всегда разный User Agent. Это не вымышленное предположение, просто я сам нарвался на такое и обратился к саппорту метрике...

D1
На сайте с 30.07.2015
Offline
120
#77
Mik Foxi #:

ipv6 нужно отключать в днс, а не блочить их. не будет их в днс - они будут ходить с ipv4 и так их будет проще отслеживать.

Это наверно лучше к провайдеру (reg.ru).

anbarter
На сайте с 14.02.2013
Offline
82
#78

Финансовая тематика, боты начали отваливаться http://joxi.ru/8233YWoFz9W3X2 - с 3500 тыс в сутки прямых заходов до 700-800

Не знаю может связано с тем, что под конец года бюджеты исчерпались)) 

1640169205497 (12 kb) закачан 22 декабря 2021 г. Joxi
1640169205497 (12 kb) закачан 22 декабря 2021 г. Joxi
  • joxi.net
сделан при помощи Joxi.ru
Позитивное продвижение сайтов ;)
SG
На сайте с 10.10.2020
Offline
27
#79
anbarter #:

Финансовая тематика, боты начали отваливаться http://joxi.ru/8233YWoFz9W3X2 - с 3500 тыс в сутки прямых заходов до 700-800

Не знаю может связано с тем, что под конец года бюджеты исчерпались)) 

есть такое, снизилось число прямых

W1
На сайте с 22.01.2021
Offline
113
#80
demon155 #:
к провайдеру

Хостинг тут ни при чём. Это записи DNS.

Мой форум - https://webinfo.guru –Там я всегда на связи

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий