Datot #:
3.1. Кому надо, тот и так пробьется со своими ботами
3.2. С "водой можно младенца вылить"
Пробиться конечно можно, только на сколько возрастет стоимость таких ботов. Ботоводу вместо того, чтобы обходить капчу, проще найти другой сайт, где не стоит никаких ограничений.
На 100% не решил, но большую часть отсек, поставил запрет на посетителей без куки и поддержки js.
На закусочку, чтобы мысли зашевелилисьпри проверке обнаружили некоторые нежелательные запросы от IP178.210.44.152, в настоящий момент заблокировано.При детальном анализе логов за 14 марта, пришли в к выводу, что на серверприходит очень большое количество запросов, общее количество 422196. Многозапросов от различных ботов, информация по основным из них:[root@......ru ~] # bzcat /var/log/nginx/*/access.log-20230308.bz2 | wc -l422196[root@.......ru ~] # bzgrep 'MegaIndex.ru' /var/log/nginx/*/access.log-20230308.bz2 | wc -l36306[root@.......ru ~] # bzgrep -i 'yandex.com/bots' /var/log/nginx/*/access.log-20230308.bz2 | wc -l56980[root@.......ru ~] # bzgrep -i 'SemrushBot' /var/log/nginx/*/access.log-20230308.bz2 | wc -l25661
Так кого будем блочить?
Это они через прямые заходы 422196 запросов наделали?😀
Если хотя бы половина вебмастеров защиту от ботов поставят, такие как вы, работы лишитесь, так что очень понимаю ваше беспокойство😁
Медленные сайты ни одна пс и пользователи не любят, готовьтесь
Для ПС стоит исключение, живого трафика с прямых заходов практически нет, тот кто очень хочет посетить сайт, 2-3 сек подождет, не проблема.
На трафик с поиска и рекламы, никаких проверок нет.
Вы так и не ответили в другой теме, каким способом решили проблему прямых заходов.
Тоже присутствуют заходы с этих сетей по IPv6.
это выкашивает около 60% ботов, тупо потому что это тратит время бота и он не успевает остальное загрузить. но этот процент постоянно падает, все что нужно боту это настроить его чтоб при виде страницы проверки он подождал чуть больше, в остальном клаудфлар не считает этих ботов ботами.
У меня количество прямых заходов сократилось в 10 раз.
Managed Challenge - использует метод на усмотрение системы. Это может быть: блокировка, капча или ожидание 2-3 сек.
И что самое главное такие проверку идут только для трафика с прямых заходов. На трафик с рекламы или поиска никаких ограничений нет.
Самое оптимальное решение для борьбы с ботами (на мой взгляд), которые идут по прямым заходам - установка cloudflare и отправка директ трафика на проверку Managed Challenge.
У меня большинство ботов выкосило таким способом.
Вы закрыли доступ для ботов Яндекса и др. Просто добавьте в WAF следующее правило и ошибки не будет.
Да, там было циклическое перенаправленные из-за того, что редирект на https стоял на хостинге и на cloudflare.
Cloudflare реально вычистил почти всю эту дрянь, можно в этом топике в первом сообщении закрепить инструкцию по настройке WAF от прямых заходов.
Список Known Bots - то что пропускает Cloudflare
ahrefs
Ahrefs SEO bot
apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions
archive.org
Archive.org bots
baidu
Baidu search engine bots
better uptime
Bot for monitoring website uptime
bing
Bing search engine bots
feedbin
Feedbin.com bots
google
Google search engine bots
grapeshot
Grapeshot (Oracle) SEO bots
linkedin
LinkedIn bots
mail.ru
Mail.ru bots
naver
Naver (South Korean) search engine bots
pingdom
Pingdom.com monitoring bots
pinterest
Pinterest bots
seznam
Seznam search engine bots
sogou
Sogou search engine bots
uptimerobot
Uptime Robot monitoring bots
yahoo
Yahoo! search engine bots
yandex
Yandex search engine bots
***
Если правило Allow - то Known Bots - зеленая галочка
Если Block - серая
У меня правила в Firewall rules расположены в таком порядке
1. Что жестко блокировать (Block - конкретные Usera Agents которые никак нельзя пропускать)
2. Что Обязательно пропускать (первым Known Bots а дальше feedburner, pinterest, facebook и т.д.)
3. Что пропускать через JS проверку ( все подозрительно и идущее через http/1.0 и 1.1, запросы к админке и т.п.)
ТО ЧТО ИДЕТ ВВЕРХУ ПО ПРАВИЛАМ CLOUDFLARE ПРИОРИТЕТНЕЕ К ВЫПОЛНЕНИЮ - то есть если вверху разрешить known bots а внизу логически запретить - то по общему правилу он разрешит.
У меня после подключения cloudflare, пришел отчет от директа, что сайт не доступен.
В WAF первым стоит правило Known Bots и добавлено исключение для mail.ru, для них - Allow.
Может после 24 февраля в cloudflare решили убрать яндексовских ботов из Known Bots?
Или бот директа блокируется с включенным режимом Bot Fight Mode?
Подскажите кто знает.
)), нет, все гораздо проще
