А почему вы не запрещаете всех ботов?

1 234
Антоний Казанский
На сайте с 12.04.2007
Online
617
#31
Romanov Roman #:

Bing Bot 2.0 отдаёт 403 Forbidden.

Получается, что бот ПС Бинга будет заблокирован...

Конечно, он же указан 

всё что указано, будет баниться по фактическому текстовому совпадению.

Отсюда следует, что если написание будет различаться, совпадения не будет; следовательно, попадать под правило не будет.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
Romanov Roman
На сайте с 21.06.2018
Offline
194
#32
Антоний Казанский #:

Конечно, он же указан 

всё что указано, будет баниться по фактическому текстовому совпадению.

Отсюда следует, что если написание будет различаться, совпадения не будет; следовательно, попадать под правило не будет.

Решил сократить список, приведя его к следующему виду.
Надеюсь, что перечислил самых распространённых ботов, часто сканирующих сайт.

https://habr.com/ru/companies/first/articles/704350/comments/#comment_25003880

# блокировка плохих ботов
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|PetalBot|MJ12bot|Detectify|dotbot|Riddler|LinkpadBot|BLEXBot|FlipboardProxy|aiHitBot|trovitBot|BUbiNG|MauiBot) [NC]
RewriteRule .* - [F]
Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
Shelton724
На сайте с 26.05.2011
Offline
234
#33
Romanov Roman #:
Если Вас не затруднит, не могли бы Вы перечислить боты, которых необходимо оставить в списке?

Повторюсь: у разных хостов будут разные боты! Мой список ничего не даст, у Вас он может быть совсем другим. Ну если только так, для общего развития, могу показать, что на одном хосте было замечено за последние дни с активностью и откидывается сегодня:

"HTTrack","ahrefs", "crawler", "babbar", "mj12bot", "keys-so", "semrush", "test-bot", "dotbot", "my-tiny-bot", "BLEXBot", "serpstatbot", "AntBot", "amazonbot", "admantx", "weborama"

AD
На сайте с 05.05.2007
Offline
240
#34

по опыту все блокировки в кодах не работают, только ручная блокировка по IP. Кроме ботов еще большая проблема парсеры, например из облаков парсят только успевай ip отслеживать. Дайте ботам бессмысленные страницы пусть сканируют хрень.

Борьба с ботами это дело хостеров. Найдите такой хостинг что бы не заниматься фигней.

Тут среди нас есть товарисчи, которые и запускают этих ботов. Когда покупаете какие-то услуги типа "отслеживание конкурентов" вы финансируете серчботы всякие. 

-S
На сайте с 10.12.2006
Offline
Модератор1355
#35
ArmenDomain #:
только ручная блокировка по IP

Блокировать нужно подсети и страны.

softerra
На сайте с 02.10.2023
Offline
24
#36

ArmenDomain #:

Тут среди нас есть товарисчи, которые и запускают этих ботов. Когда покупаете какие-то услуги типа "отслеживание конкурентов" вы финансируете серчботы всякие. 

Они их запускают, они же и лечат от них, бормоча "заумные фразы" 😜

У ЧЧаплина фильм есть, сонок окна бьет, а папа следом идет и стеклит.

Что мешает заблочить крупные сетки? Останется мелочь, которую легко ловить и возможно те, кто с инт-провайдеров по заказу с копеечных бирж.

Shelton724
На сайте с 26.05.2011
Offline
234
#37
softerra #:
Они их запускают, они же и лечат от них, бормоча "заумные фразы" 😜

А за ними стоит мировое правительство, которым правят рептилоиды. Всё это дело происходит в матрице, само собой 😀

Антоний Казанский
На сайте с 12.04.2007
Online
617
#38
Shelton724 #:

А за ними стоит мировое правительство, которым правят рептилоиды. Всё это дело происходит в матрице, само собой 😀

А все остальные лишь энергетические батарейки.

Поэтому перед тем как заходить на Серч нужно непременно надевать шапочки из фольги. А! Чуть не забыл, ещё один новый скрепосный тренд - надо покаяться.  

softerra
На сайте с 02.10.2023
Offline
24
#39
Shelton724 #:

А за ними стоит мировое правительство, которым правят рептилоиды. Всё это дело происходит в матрице, само собой 😀

Нет, за ними стоят фрилансеры от CF, которые из мухи раздувают слона.

Разогнали тему, мне хватило пару недель найти решение (от умных людей) 😜

S
На сайте с 26.02.2017
Offline
68
#40
softerra #:

Разогнали тему, мне хватило пару недель найти решение (от умных людей) 😜

Как поставлен вопрос ТС - такие и решения. Такое и обсуждение. Но посыл хорошь и понятен.

Только есть один нюанс, почему миссия не выполнима. Сложность точного определения Робот/Человек. В запрет "для всех" может легко попасть вполне себе приличный человек, использующий какой-нибудь экзотический интернет обозреватель. И наоборот, зловредный Бот, назвавший себя Гуглботом, сможет беспрепятственно выполнять свои деструктивные действия. 

Поэтому все алгоритмы идут по пути установки запрета входа на сайт конкретным выявленным Роботам. А не наоборот.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий