Помощь в фильтрации ботов через CloudFlare

Те, кто бездумно перепечатывают в интернетах мануалы не первой свежести, бездумно ставя http1 под капчу, сами же себе делают бяку. Часть вполне легитимных запросов некоторые браузеры делают по этому протоколу.
Что ВПНщики, что искатели дыр и уязвимостей, что сканеры и парсеры, что ддосеры - используют одну и ту же инфраструктуру. Поэтому, забаните сканеров - забаните клиентов с ВПН. 

А дальше первый же DDoS и любой хостер отключит сайт часиков на 6 для начала. Никакой htaccess не поможет. Блокировать всё нужно до сервера.

Хелп. Че за фигня может быть?

У меня есть правило где странные подозрительные айпи я сую под Менедж Челендж. Ну так вот.

Увидел в Метрике заход, дай думаю посмотрю Вебвизор. Смотрю, а там мой сайт типа как бы без CSS показывается. ну знаете, когда CSS поломался, то он типа кривой, просто список ссылок. Глянул еще один, то же самое.

Смотрю свой айпи, и тот который был и тот который Клауд дал. Пихаю его в проверку в правило Клауда. Открываю сайт через поиск Яндекса и все ок.  Открывается нормально.

Это что было? Почему там в Вебвизоре у кого то мой сайт криво открывался?

Вроде я встречал речь о том, что надо в какие то исключения что то там запихать, айпи какой то.

Бот может не грузить определенные файлы. Или все файлы заданного типа, например, css.

Либо этот код тянется со сторонних сайтов.

Либо бот идёт по IPv6. Такое встречал.

Разные причины могут быть.

Ещё в идеале путь к файлам должен быть указа в коде так: //site.ru/css/style.css

Я когда увидел это, попросил соседку, брата в другом регионе и жену на даче зайти на сайт. С телефона правда они смотрели. У всех все ок. Ну и у меня ок. Вот же странности.

Итак, смотрите какая тема с вебвизором.

Либо это был просто какой то глюк, либо....

Я настраивал Клауд так, как сказал у себя на сайте Анти Досс. Там 5 правил.

1. Запрещаем то, что указываем.

2. Разрешаем автоматически всякие хорошие боты.

3. Сканы и ВПН (HTTP1 или ASN) -  Managed Challenge.

И еще 2 правила.

Я знаю точно что ничего криминального не делал. Посмотрел 1 и 2 правило, вроде как все чисто.

В 3 правиле мною было указано только 3 ASN. Поэтому там вроде бы не должно было быть ничего криминального. Стал смотреть статистику в нем и увидел непонятный ASN Яндекс - ASN13238 YANDEX LLC , для которого действовало то же правило  Managed Challenge. Подумал все таки это Яндекс, зачем ему челендж и перенес его в разрешенные известные боты. Сделал ему разрешение Skip.

Посмотрел сейчас новые записи Вебвизор, все норм показывает. Посмотрел старые записи, где типа без CSS было, там тоже щас все норм показывает.

То ли глюк, то ли реально из за этого ASN. А если это все таки этот ASN, то как вообше получилось, что для него сработало правило Менедж.

У тебя правило должно быть:

1. Пропускаем поисковики.

2. Правила блокировки если AS не гугла и имеет user agent google бот блокируем и т.д

3, 4. 5 Остальные правила делай что хочешь.

😂

Ты не понимаешь что делаешь вот в чём проблема.

Ты заблокировал подгрузку css вероятно блокировал переходы с рефером.

Проверять нужно когда рефер блокируешь или что либо, это твой сайт или нет.

На твоем сайте может быть переход с страницы на страницу, так вот в рефере твой сайт оказывается.

Так а что толку мне их делать, если на сайте не было таких ботов, косящих под Гугл и др. Я все больше вижу непонятные заходы, когда либо через поиск, либо через Директ заходят с запросом Купить кепку в категорию Кепки, где много разных кепок, и делают сразу отказ. То есть несоответствие полное. Одно дело, когда ищут конкретное, попадают в общий раздел и выходят. Тут понять можно. 

Я например вообще не вижу прямых заходов с отказом. Таких единицы.

Давай еще раз. Ничего не сделано, кроме изменения этого ASN с Менедж Челендж на Skip и все заработало. ASN Яндекса. Вручную я ему не задавал правило  Менедж Челендж.