Помощь в фильтрации ботов через CloudFlare

RS
На сайте с 05.05.2023
Offline
10
#301
alaev #:

На первой вкладке есть development mode, если включить, то должен дать сделать бекап.

Не могли бы показать на скриншоте, не совсем понял где это находится.

RS
На сайте с 05.05.2023
Offline
10
#302
alaev #:

На первой вкладке есть development mode, если включить, то должен дать сделать бекап.

Нашёл, но при попытке включения появляется окно с надписью:  Включение режима разработки отключает кэширование для вашего сайта. Все запросы будут получены с исходного сервера. Cloudflare продолжит проксировать трафик на исходный сервер без кэширования какого-либо контента. Вы уверены что хотите продолжить?

Я думаю, что это не лучший вариант. Может быть есть ещё какой-нибудь вариант, не знаете?

alaev
На сайте с 18.11.2010
Offline
847
#303
RomarioSpirtberg #:

Нашёл, но при попытке включения появляется окно с надписью:  Включение режима разработки отключает кэширование для вашего сайта. Все запросы будут получены с исходного сервера. Cloudflare продолжит проксировать трафик на исходный сервер без кэширования какого-либо контента. Вы уверены что хотите продолжить?

Я думаю, что это не лучший вариант. Может быть есть ещё какой-нибудь вариант, не знаете?

Можно подключить облако битрикс, либо скачивать дамп бд и файлы.

Либо development mode на cloudflare на время создания бекапа.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
R0
На сайте с 04.12.2019
Offline
71
#304
Никто не заметил случайно? После включения правил в WAF отлетает правильный ответ сервера с http на https версию и становится 403 вместо 200. Если правило на фильтрование прямых заходов выключить то все ок. Поидее не должно ни на что повлиять я думаю, но все же. Может в Skip что то еще нужно добавить как думаете?
jpg screenshot_1.jpg
jpg screenshot_2.jpg
Bookvatik
На сайте с 13.01.2018
Offline
55
#305
Biomusor #:
Поделитесь кто htaccess с блокировкой ботов?)))

SetEnvIfNoCase User-Agent "Abonti|AspiegelBot|aggregator|AhrefsBot|Aport|asterias|Baiduspider|BDCbot|bidswitchbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|python-requests|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZyBORG" bad_bot

Deny from env=bad_bot

# END Bad Bot Blocker

ПРим*

Стоял такой блок в .htacces. Убрал после того как настроил правило для блокировки ботов по мануалу VC. Жду статистику, чтобы сравнить.  Приведенный мною код предоставлен мне ребятами из Фоззи.


Представлю ваши интересы в Крыму.
alaev
На сайте с 18.11.2010
Offline
847
#306
Bookvatik #:

SetEnvIfNoCase User-Agent "Abonti|AspiegelBot|aggregator|AhrefsBot|Aport|asterias|Baiduspider|BDCbot|bidswitchbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|python-requests|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZyBORG" bad_bot

Deny from env=bad_bot

# END Bad Bot Blocker

ПРим*

Стоял такой блок в .htacces. Убрал после того как настроил правило для блокировки ботов по мануалу VC. Жду статистику, чтобы сравнить.  Приведенный мною код предоставлен мне ребятами из Фоззи.


Лучше заблокировать серверные прокси, с которых эта дичь ломится. Обычно это амазон, хетзнер, ovh и т.п., заодно обрубить Азию и Юго-Восточную Азию.

-S
На сайте с 10.12.2006
Offline
1354
#307
Bookvatik #:

Стоял такой блок в .htacces. Убрал после того как настроил правило для блокировки ботов по мануалу VC. Жду статистику, чтобы сравнить.  Приведенный мною код предоставлен мне ребятами из Фоззи.

Юзер агент - это всего лишь ограничение для "порядочных" ботов, которые не маскируются. Блочить нужно подсети и страны.

Mik Foxi
На сайте с 02.03.2011
Offline
1198
#308
-= Serafim =- #:

Юзер агент - это всего лишь ограничение для "порядочных" ботов, которые не маскируются. Блочить нужно подсети и страны.

от технически примитивных ботов хорошо помогает 

Правило: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (cf.threat_score ge 5) or (http.referer eq "") or (not ssl)

Choose action: Managed Challenge .

чтоб не перечислять всякие wget и т.п. юзерагенты.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
RS
На сайте с 05.05.2023
Offline
10
#309
Prodv1gator #:

обращайтесь и переподключайтесь сервисом бекапа в определенное время, потом смотрите в логи cloudflare под каким ip этот сервис бекапа стучался и недостучался через cloudflare

запоминайте этот ip и в правилах cloudflare разрешите этот ip

А где в  cloudflare можно посмотреть логи? Не подскажите?

RS
На сайте с 05.05.2023
Offline
10
#310
Prodv1gator #:
запоминайте этот ip и в правилах cloudflare разрешите этот ip

Здравствуйте! Я нашёл  ip, который блокируется и связан с бэкапом. Как его разрешить? В какое правило лучше поставить, не подскажите?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий