Анти БОТ

Анти БОТ
Рейтинг
134
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
yalol :

Пошла большая нагрузка на сайт. Хостер сказал, что слишком много и часто боты разные приходят, дали список:

22631 yandex.com/bots 

21768 YandexBot/3.0 

4901 SERankingBacklinksBot/1.0 

3763 www.google.com/bot.html 

3763 Googlebot/2.1 

Основное - это, в цитате, остальное - мелочь пузатая.
Серанк заблочить.

По яндексу - в вебмастере есть параметр с частотой запросов, поставить вместо автоматической - минимальную из ручных. (Это если яндексботы там реальные, а не парсинг с фейковыми юзерагентами. Просто как допущение.)

Настройте Last-Modified. Ваш сервер должен сообщать краулерам, страница изменилась или нет, для того, чтобы впустую не переиндексировалось одно и то же.  

stamina88 :
Иногда заходят с дзена люди - переходы из социальных сетей. Как найти где размещают эти ссылки, а то я как бы на дзене ничего не публикую.

А люди ли? Кроме дзена, там же в соседнем отчете, переходы с сайтов, есть mail.ru?

TonyBlackberry #:
Наверняка какая-нибудь битерика или селектел
Сейчас в общем трафике, особенно поведенческом, они занимают уже не такой заметный объем, как было ещё пару лет назад.

Вот срез трафика с Дзен по одному из сайтов. На скриншоте боты, проверочную капчу не проходили.

Переходы с MegaFon, Vimpelcom, T2 Mobile, MTS, один из стационарных провайдеров. Т.е. то, что с тем же htaccess не зафильтруешь.
Ну и там же - есть Битерика и 
Moshonkin Ilia Sergeevich. Это то, что можно банить по ASN или диапазонам.

antiddos24

Антоний Казанский #:
не на стартовый вопрос TC
А, понял. В топике смешались, как говорится, в кучу, люди, кони. Короче, нужно следить за переплетением нитей дискуссии 👍
master32 #:
там резидентские прокси, не имеет смысла банить по ASN, сразу по стране

Это уже зависит от того, как все устроено у топикстартера. Вдруг он с htaccess забавляется, и из возможностей - только диапазоны плодить.
iggg #:
Сам я их не пробовал, но судя по инфе с их сайтов, это прям то что нужно.
Прям да, трафик для РФ гнать через Сингапур с Банни - то что нужно 🤔
sagamorr :
Последние 2-3 дня на несколько сайтов повалили боты с Сингапура, все через прямые заходы. В вебизоре их даже не видно, т.к время на сайт 0-1 сек.

В целом стандартное явление. То Китай, то Гонконг, то Сингапур, то еще что.
Смотрите ASN заходов и блочьте или диапазонами, или целиком подсетями. Какой-нибудь Tencent можно для разнообразия блокануть сразу, не раздумывая.

Антоний Казанский #:

Вероятнее всего - следы ПФ ботов. 

Накрутчики нередко ошибаются в настройках своих программ и вместо результирующих запросов могут использовать шаблоны вместе с операторами, которые используются для комбинаторики.

🤔

Не совсем так.

antiddos24

Weblady #:
Так что пока на этот комментарий
Взаимосвязи вообще ноль. Я понимаю, хочется красивенькие цифры видеть в метрике, но вы то подспудно понимаете, что это искусственный трафик, а никак не живые люди, чисто отказной трафик с 3 секундами. Причем целевая страна у вас совсем другая.
Genius Ideaing :
есть ли решение на Free тарифе CF повесить сообщение на своем сайте до блокировки проверочных процедур
Нет, просто деактивируйте проксирование. Про клауд на ближайшие годы можно забыть. Из работающего функционала - только ДНС сервер.
Куда смотреть при поиске аналогов, зависит от того, зачем вам вообще клауд, какие задачи он решал.
LevShliman #:
в настройки NS на прксироваение в Клоудфларе

Это уже полёт фантазии у вас разыгрался. Все что можно сделать - прописать НС клауда у регистратора, а там клауд выдаст вам рандомные НС с рандомными айпи адресами. Скорее всего теми, что уже находятся в блоклисте РКН.

Хотите чтобы у вас открывался сайт за клаудом, - открываете юрлицо, покупаете на него диапазон айпи, проходите необходимые технические согласования, покупаете энтерпрайз тариф, BYOIP и проч.
Суммарно обойдется примерно в 5-10 тысяч долларов в месяц.

А просто помечтать - это да, бесплатно.

Всего: 1386