Что делать с ботами?

12 3
yalol
На сайте с 12.12.2007
Offline
216
875

Всем привет) Хостер блокировал общеизвестных и бесполезных ботов типа megaindex и т.д., но одно время из закладок шло десятки тысяч типа посетителей (это были боты). Теперь этот показатель просел, но вместе с ним просела и посещаемость и переходы с поисковиков. А среди источника трафика есть вот этот - https://api.pfbaza.website/ , где написано: Да, на ваших сайтах, прокачиваются боты

что делать, чтобы не испортить поведенческие на сайте? 

Александр
На сайте с 18.03.2020
Offline
183
#1
yalol :

Всем привет) Хостер блокировал общеизвестных и бесполезных ботов типа megaindex и т.д., но одно время из закладок шло десятки тысяч типа посетителей (это были боты). Теперь этот показатель просел, но вместе с ним просела и посещаемость и переходы с поисковиков. А среди источника трафика есть вот этот - https://api.pfbaza.website/ , где написано: Да, на ваших сайтах, прокачиваются боты

что делать, чтобы не испортить поведенческие на сайте? 

Изучать настройки CF и блочить ботов.
Либо изучать логи и точечно блочить через .htaccess (но это совсем частный случай и действовать надо аккуратно).
Либо написать свой скрипт по борьбе с ботами.
Либо на аутсорс передать борьбу с ботами.
Либо каких-нибудь антиботов установить - но тут тоже надо аккуратно действовать, можно наплужить и сайт на дно опустить.

yalol
На сайте с 12.12.2007
Offline
216
#2
Александр #:

Изучать настройки CF и блочить ботов.
Либо изучать логи и точечно блочить через .htaccess (но это совсем частный случай и действовать надо аккуратно).
Либо написать свой скрипт по борьбе с ботами.
Либо на аутсорс передать борьбу с ботами.
Либо каких-нибудь антиботов установить - но тут тоже надо аккуратно действовать, можно наплужить и сайт на дно опустить.

Такие заблокированы:

Список заблокированных ботов:
open-kabinet.ru|Bytespider|MJ12bot|Amazonbot|SemrushBot|AhrefsBot|DotBot|MegaIndex|weborama|halvakabinet.ru|nmo-lk.ru|domrf-lk.ru|ik-megafon.ru

Антоний Казанский
На сайте с 12.04.2007
Offline
695
#3
yalol #:
Список заблокированных ботов:
open-kabinet.ru|Bytespider|MJ12bot|Amazonbot|SemrushBot|AhrefsBot|DotBot|MegaIndex|weborama|halvakabinet.ru|nmo-lk.ru|domrf-lk.ru|ik-megafon.ru

Поведенческие боты не представляются как боты, поэтому явно по имени их заблокировать невозможно.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
AB
На сайте с 27.01.2016
Offline
100
#4
Написал простенький антибот, тупо выбери похожую картинку. Сейчас глянул логи - за 10 дней на сайте со средней посещаемостью 300 человек (без ботов) заблочено 3000 ботов, на сайте со средней посещаемостью 900 человек (без ботов) за 9 дней заблочено 5700 ботов.
yalol
На сайте с 12.12.2007
Offline
216
#5
Антоний Казанский #:

Поведенческие боты не представляются как боты, поэтому явно по имени их заблокировать невозможно.

Все ли представленные сайты и IP не имеют ценности? Может лишнего кого заблокировал?

Антоний Казанский
На сайте с 12.04.2007
Offline
695
#6
yalol #:
Все ли представленные сайты и IP не имеют ценности? Может лишнего кого заблокировал?

Для вас указанные имена ботов уже точно никакой ценности не имеют.

Shelton724
На сайте с 26.05.2011
Offline
263
#7
yalol #:
Список заблокированных ботов:
open-kabinet.ru|Bytespider|MJ12bot|Amazonbot|SemrushBot|AhrefsBot|DotBot|MegaIndex|weborama|halvakabinet.ru|nmo-lk.ru|domrf-lk.ru|ik-megafon.ru

это безбраузерные боты, они ни на что не влияют, никаких сигналов от них ПС не будет отправлено.

Александр #:
можно наплужить и сайт на дно опустить.

Что такое "наплужить"? Я слишком молод или слишком стар для таких терминов. Требуются пояснения.

Антоний Казанский
На сайте с 12.04.2007
Offline
695
#8
Shelton724 #:
Что такое "наплужить"?

Перебдеть :)

Анти ДДОС
На сайте с 14.03.2020
Offline
92
#9
yalol #:

Такие заблокированы:

Список заблокированных ботов:
open-kabinet.ru|Bytespider|MJ12bot|Amazonbot|SemrushBot|AhrefsBot|DotBot|MegaIndex|weborama|halvakabinet.ru|nmo-lk.ru|domrf-lk.ru|ik-megafon.ru

Ну т.е. вы вообще не различаете что такое поведенческие боты, а что такое сканеры парсеры и проч которые не через реальный браузер ходят?
Это чуть разные виды ботов, и ваши списки здесь абсолютно бесполезны. Общее только слово бот.

У поведенческого бота будет реальный браузер, и юзерагент такой-же как у вас, или любого другого посетителя вашего сайта. Например

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 YaBrowser/23.11.0.0 Safari/537.36

Когда Зимин свое сочинение на вольную тему на VC пиарил, он тоже мало понимал разницу между сканирующим ботом и поведенческим. Вот и получаются потом такие случаи, когда идет яростная борьба с ветряными мельницами поведенческими ботами, но с помощью инструментов, которые к поведенческим ботам не имеют вообще никакого отношения.

Аналогично и для ДДОС атак. С этого лета все серьезные ДДОС атаки идут по HTTP2 и с профилей которые и для поведенческих ботов используются. А самый распространенный совет против ДДОС до сих пор - блокируйте HTTP1 🤣

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
Datot
На сайте с 09.07.2007
Offline
1088
#10
yalol :

Всем привет) Хостер блокировал общеизвестных и бесполезных ботов типа megaindex и т.д., но одно время из закладок шло десятки тысяч типа посетителей (это были боты). Теперь этот показатель просел, но вместе с ним просела и посещаемость и переходы с поисковиков. А среди источника трафика есть вот этот - https://api.pfbaza.website/ , где написано: Да, на ваших сайтах, прокачиваются боты

что делать, чтобы не испортить поведенческие на сайте? 

Вы еще не всех ботов блокировали? Тогда мои идут к вам :)

Очередная флудная тема ни о чем

Накрутка ПФ с результатами @samdatot https://t.me/karkali Группа полезных сеошников
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий