Анти БОТ

Анти БОТ
Рейтинг
129
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
Mik Foxi #:
Т.е. почти по всей россии уже нету надобности блочить ипы.

За все время работы с клаудом мне попался всего один хостер, который блочит по айпи из списка РКН. Хостинг старый, но до сих пор относительно мелкий, оборудование как понимаю соответствующее не купили, поэтому им проще послать клиента лесом, если тот подключил клауд и на этом недохостинге этот сайт перестал открываться.
Возможно, что-то в дальнейшем и изменится, но пока у меня так.

Харизма #:
Некоторое время назад помню была проблема, РКН блокировал некоторые IP  у  Cloudflare.  Соответственно сайт мог не открываться у пользователей из РФ. Но бОльшая проблема была, если не открывался у части пользователей. Не сразу можно было понять в чем дело.  А как сейчас обстоят дела с этим? 

Давно не слышал о подобном.

Если так посмотреть, то большинство айпишников клауда можно найти в списках РКН. Допустим на каком-то из них в 2017 году располагался сайт с фармой. Но если блочить по айпи, то пострадают вообще не имеющие к тому сайту никакого отношения. Также нужно иметь в виду, что айпи адреса клауда, которые назначены сайту - динамические, и отличаются в зависимости от страны запроса.

Как мне кажется, пробовали одно время, но очень быстро поняли ущербность подобной тактики.

pahanmcs #:

все галочки проставить?

Только первую, all remaining custom rules. Ну и логирование чтобы зелененьким горело.
Больше ничего там проставлять не нужно.

Также выше правила с skip должно стоять правило с блоком тех ботов, которых клауд этим правилом пропускает, но вы их не считаете необходимыми для своего сайта. Получить список таких ботов именно для своего проекта можно, проанализировав логи этого правила. 

dickduck #:
Насколько я знаю некоторые сервисы пользуются прокачкой через HTTP запрос, без загрузки сайта

По метрике да, иногда есть необъяснимые странности.

Вот этот счетчик физически сняли с сайта, поставили вообще новый, свежесозданный. Все кэши очистили.

Однако почти 2 месяца в счетчик, которого уже нигде нет, еще идет остаточный трафик. Несколько посетителей показывает даже за сегодня. Счетчик сняли еще в декабре.

55

Tom77 :
Добавил в код счетчика передачу параметра пользователя - параметра у бота нет. 

Аналогично. В счетчик ставился проброс айпи в метрику. Галки все необходимые (учитывать только с этого сайта), стояли. Однако в счетчике отображались переходы с сетей, которые заблокированы в клауде. И они были без айпи адреса, в отличие от остальных переходов в отчете.
В логах сервера, естественно, этих фантомных переходов обнаружено не было.

egel #:

У CF есть несколько тарифов. Дальше все зависит от того насколько вы умеете им пользоваться. Обратитесь к профессионалам, чтобы они настроили правила под ваши задачи.

Детишки думают, что все им должны бесплатно на бесплатном тарифе полный функционал так еще и все само настроится должно. Одной кнопкой. Так не работает.

Все по делу, только нужно иметь в виду, что в тарифе ПРО также нет волшебной кнопки АнтиБот. 
Клауд образно можно сравнить с редактором Notepad++. Один откроет его и все что сможет - напишет слово из 3 букв. А другой - напишет код сайта. Но при этом никому не приходит в голову орать что "я скачал поставил себе текстовый редактор в комп, почему он мне не обновил сайт, не приготовил кофе и не постирал носки". А про Cloudflare так почему-то постоянно пишут. 

Клауд приспосабливают  под фильтрацию именно настройкой правил WAF, здесь отличие в количестве доступных ячеек под правила. В бесплатном 5 штук. Впрочем, в большинстве случаев этого (на 1 ячейку чуть больше 4000 символов под правила) вполне достаточно.

Пока Яндексу все это ботоводство выгодно, так и будет идти по нарастающей. Иногда прямых заходов на сайтах в 10-20 раз больше чем поисковых.

Полюс как с цепи иногда срываются все AI сканеры и подобные проверяльщики, которых все больше и больше.

Ну а тема по клауду здесь.
https://searchengines.guru/ru/forum/1075193

Мыхалыч #:

Вот так.

И правило это на 1-ое место!

Не всегда.

В know bots целая пачка ботов, которых Cloudflare считает белыми. Причем, как минимум половину из них, по хорошему, нужно забанить. Просто посмотрите лог этого правила, выпишите те парсеры, которые вам не сдались (например Ahrefs или маджестик бот, или что он там пропускает).

И сначала первым правилом блок всего лишнего, а только вторым уже скип.

Без адреса сайта и скриншота правил гадать трудно. 
Циклическая проверка может быть связана с тем, что браузер каждый раз отдает разные заголовки.

Но лучше начать со скриншота правил.
yalol #:
Как думаете, решит ли проблему новый сервер с 6 ядрами?

Начните с этого.
Как первый шаг. Легче будет делать последующие шаги.

Большой брат лучше знает, какая информация правильная, а какая нет 🤔

Вчера еще вопросов не было, а сегодня в Министерство правды поступила разнарядка на зачистку чего-то определенного. Именно поэтому не применяли к вам санкций, так как все подчищается задним числом. Про эту конкретную тему, что попала под отмену  -  забыть, она больше не проходит под критерии "истина" у Большого брата.

Всего: 1326