Анти БОТ

Анти БОТ
Рейтинг
135
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
yalol #:

Такие заблокированы:

Список заблокированных ботов:
open-kabinet.ru|Bytespider|MJ12bot|Amazonbot|SemrushBot|AhrefsBot|DotBot|MegaIndex|weborama|halvakabinet.ru|nmo-lk.ru|domrf-lk.ru|ik-megafon.ru

Ну т.е. вы вообще не различаете что такое поведенческие боты, а что такое сканеры парсеры и проч которые не через реальный браузер ходят?
Это чуть разные виды ботов, и ваши списки здесь абсолютно бесполезны. Общее только слово бот.

У поведенческого бота будет реальный браузер, и юзерагент такой-же как у вас, или любого другого посетителя вашего сайта. Например

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 YaBrowser/23.11.0.0 Safari/537.36

Когда Зимин свое сочинение на вольную тему на VC пиарил, он тоже мало понимал разницу между сканирующим ботом и поведенческим. Вот и получаются потом такие случаи, когда идет яростная борьба с ветряными мельницами поведенческими ботами, но с помощью инструментов, которые к поведенческим ботам не имеют вообще никакого отношения.

Аналогично и для ДДОС атак. С этого лета все серьезные ДДОС атаки идут по HTTP2 и с профилей которые и для поведенческих ботов используются. А самый распространенный совет против ДДОС до сих пор - блокируйте HTTP1 🤣

Так что вешаем цель - заход на сайт. И никаких отказов в метрике.
У меня у нескольких клиентов была метка МПК. Настроили фильтрацию поведенческих ботов, поубирали разный мусор, дубли и проч, метку сняли.
MaddeN #:
Подскажите стоит ли блокировать бота DotBot ? Запись из журнала:

Если быстро загуглить, то вот.

Бот компании Moz, собирает статистику о сайтах для коммерческой продажи для клиентов сервиса Moz, данный бот может быть полезен только для тех сайтов, которые работают с Moz по API, в противном случае это лишняя нагрузка на сайты.


Лично я предпочитаю блокировать ботов, которые кому-то там продают данные, собранные на других сайтах.

Hernan Cortes #:

бггг ... он постоянно обновляется ... откуда такие олухи берутся?

Олухи сначала пишут бред, а потом только читают пост.
Я про интерфейс и то что там внутри.
Если с яндекс вебмастером сравнить, то гугл - это старый ржавый запорожец по сравнению с мерседесом.

Вбиваете айпишник сюда, получаете диапазон. 
https://bgp.tools/
kostyam :
Это страница обнаружена, но не проиндексирована и просканирована, но не проиндексирована. Я сначала думал, что это временно, поэтому просто ждал. Активировал проверки, но они не давали результатов.  Уже прошёл год с создания сайта. Какие-то непонятные причины, как начал, но не закончил. 

Как по мне, Гугл давно уже забил на вебмастеров и их сайты. Гугл вебмастер уже много лет как вообще не обновляется тот же. 

Или через Апи загонять, или закупить себе дофигилиард внешних ссылок.

Александр #:
Всем привет. ПРоблема с отказами на одну запись, то есть по одной ссылке 90% отказов и большое количество заходов около 2000 из-за этого весь ПФ портится на сайте. Как можно запретить доступ на эту страницу? если я удалю запись боты перестанут идти на эту страницу? Закинул в черновик, а по ссылке все равно можно зайти на эту запись. Что можно сделать подскажите.
Подключить Cloudflare и включить проверку всех прямых переходов на эту страницу. Удалять ее не обязательно. В логах вы скорее всего найдете Ростелеком.
Toyvo Glumov #:
Опять началось, прям с НГ, заходы с ПК (по метрике) примерно с 23 часов до 6-7 утра - отказы, при этом роботность низкая. Такое чувство, что работают на постепенное повышение. Пожалуйста поделитесь актуальным списком айпишников для deny в .htaccess,  старые из этой темы уже не работают. В прошлый раз неплохо помогло, настраивал на хостинге чтобы разные .htaccess в разное время суток были, чтобы дневных вообще не трогать и вроде отстали со временем.


Ну и подняли вы тему.

Так скоро еще и до послеобеденных ботов доберемся, и до работающих только на выходные. А там и до профсоюза ботов недалеко.

Откройте файл access в логах хостинга, там все будет. 

Аналогично, поставил пару текстов, оба в топе Яндекса. Писал лично. Человечность 10-30% )
Всего: 1389