Анти БОТ

Анти БОТ
Рейтинг
129
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
MaddeN #:
Подскажите стоит ли блокировать бота DotBot ? Запись из журнала:

Если быстро загуглить, то вот.

Бот компании Moz, собирает статистику о сайтах для коммерческой продажи для клиентов сервиса Moz, данный бот может быть полезен только для тех сайтов, которые работают с Moz по API, в противном случае это лишняя нагрузка на сайты.


Лично я предпочитаю блокировать ботов, которые кому-то там продают данные, собранные на других сайтах.

Hernan Cortes #:

бггг ... он постоянно обновляется ... откуда такие олухи берутся?

Олухи сначала пишут бред, а потом только читают пост.
Я про интерфейс и то что там внутри.
Если с яндекс вебмастером сравнить, то гугл - это старый ржавый запорожец по сравнению с мерседесом.

Вбиваете айпишник сюда, получаете диапазон. 
https://bgp.tools/
kostyam :
Это страница обнаружена, но не проиндексирована и просканирована, но не проиндексирована. Я сначала думал, что это временно, поэтому просто ждал. Активировал проверки, но они не давали результатов.  Уже прошёл год с создания сайта. Какие-то непонятные причины, как начал, но не закончил. 

Как по мне, Гугл давно уже забил на вебмастеров и их сайты. Гугл вебмастер уже много лет как вообще не обновляется тот же. 

Или через Апи загонять, или закупить себе дофигилиард внешних ссылок.

Александр #:
Всем привет. ПРоблема с отказами на одну запись, то есть по одной ссылке 90% отказов и большое количество заходов около 2000 из-за этого весь ПФ портится на сайте. Как можно запретить доступ на эту страницу? если я удалю запись боты перестанут идти на эту страницу? Закинул в черновик, а по ссылке все равно можно зайти на эту запись. Что можно сделать подскажите.
Подключить Cloudflare и включить проверку всех прямых переходов на эту страницу. Удалять ее не обязательно. В логах вы скорее всего найдете Ростелеком.
Toyvo Glumov #:
Опять началось, прям с НГ, заходы с ПК (по метрике) примерно с 23 часов до 6-7 утра - отказы, при этом роботность низкая. Такое чувство, что работают на постепенное повышение. Пожалуйста поделитесь актуальным списком айпишников для deny в .htaccess,  старые из этой темы уже не работают. В прошлый раз неплохо помогло, настраивал на хостинге чтобы разные .htaccess в разное время суток были, чтобы дневных вообще не трогать и вроде отстали со временем.


Ну и подняли вы тему.

Так скоро еще и до послеобеденных ботов доберемся, и до работающих только на выходные. А там и до профсоюза ботов недалеко.

Откройте файл access в логах хостинга, там все будет. 

Аналогично, поставил пару текстов, оба в топе Яндекса. Писал лично. Человечность 10-30% )
MaddeN #:
UTM метки не мои, определяет как переход по рекламе которой у меня нет

Баньте через htaccess или через клауд.

pilotgta #:

Спасибо за ответ.

Решил после этого коммента проверить свои изображения в интернете, мало ли. и чтоб вы думали?)

на некоторых сайтах нашел изображения со своего сайта и отскриншотенные кадры с  моего ютуб канала)

причем с сайта изображения не стесняясь вставили к себе  прямо с ватермарками где большими буквами написан адрес моего сайта))

что делать? ничего? 

Наймите юристов и опустите их на 10 тыс руб за каждую картинку. Была тут соответствующая тема на форуме.

GasTarbols #:
Все эти AS по прежнему актуальны и спама с них на самом деле идёт много.

Тоже когда-то смотрел этот список. Некоторые сети крутят только ipv6, например IP SERVER LLC. Отключаешь через апи клауда - и сразу жизнь налаживается.

Всего: 1326