В чем смысл блокировки сервисных ботов?

SD
На сайте с 31.07.2023
Offline
1
264

Здравствуйте. 

Очень много вижу тем, как те или иные люди с опытом или без, упоминают блокировку ботов, например таких, как ahres, semrush, ну и тому подобных ботов.

У меня вопрос, с какой целью их блокировать? Что знаю я, боты могу нагружать сайт своими запросами, боты могу собирать информацию о сайте, о внутренних страницах и ошибках.

Как-то мне сказали, блокируй таких ботов, чтобы конкуренты не видели твои методы продвижения, и рост твой. 

Но разве блокировка того же  ahres скроет методы продвижения сайта? Даже если заблокировать  ahres , он все равно даст информацию допустим по обратным ссылкам сайта 

Что даст блокировка  ahres? Меньше запросов на сайт? Ну камон, у меня хост не самый дорогой, на сайте посещаемость 1-2к человек (реальных живых юзеров) и нагрузка на хост, ну минимальная. 

Так вопрос, зачем блокировать таких ботов? Возможно я еще не дорос до того, чтобы понять, поделитесь инфой. 

[Удален]
#1
StatrerD :
Так вопрос, зачем блокировать таких ботов? Возможно я еще не дорос до того, чтобы понять, поделитесь инфой. 

Просто блокировать ботов Ahrefs etc. нет никакого смысла, вы правильно сказали.

Смысл блокировать этих ботов появляется тогда, когда у вас своя сеть сайтов (PBN) и вы продвигаетесь именно с её помощью. Можно поставить говноссылок с форумов для отвода глаз, а на самом деле весь жир идёт с ваших PBN, которые закрыты от ботов. Таким образом, конкуренты видят только говнофорумы и недоумевают, почему же вы так быстро растёте, а про ваши жирные PBN они не в курсе.

Антоний Казанский
На сайте с 12.04.2007
Offline
702
#2
Sunset Wildcat #:

Просто блокировать ботов Ahrefs etc. нет никакого смысла, вы правильно сказали.

Смысл блокировать этих ботов появляется тогда, когда у вас своя сеть сайтов (PBN) и вы продвигаетесь именно с её помощью. Можно поставить говноссылок с форумов для отвода глаз, а на самом деле весь жир идёт с ваших PBN, которые закрыты от ботов. Таким образом, конкуренты видят только говнофорумы и недоумевают, почему же вы так быстро растёте, а про ваши жирные PBN они не в курсе.

Или специально оставляют для анализа Ahref/Majestic одну жирную ссылку, купленную со СМИ :)

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
Mik Foxi
На сайте с 02.03.2011
Offline
1130
#3
чтоб конкуренты не анализировали. а еще все эти боты могут создавать до 90% всей нагрузки на хостинг.
Универсальный антибот, антиспам, веб файрвол, защита от накрутки поведенческих № 1 в рунете: https://antibot.cloud/
S.E.R.
На сайте с 17.08.2008
Offline
146
#4

Да, блокировка ботов помогает снизить нагрузку на сервер. Если мы говорим, только про одного бота Ahrefs, то да, возможно эффект будет не  такой заметный.

Но таких ботов ходят десятки. И если заблокировать их пачкой, то эффект будет уже существенный.

ORIDIS ( http://www.oridis.ru/ ) - разработка и продвижение сайтов | Быстрый и надёжный хостинг ( https://timeweb.com/ru/?i=53597 )
Artisan
На сайте с 04.03.2005
Offline
365
#5
S.E.R. #:
Но таких ботов ходят десятки. И если заблокировать их пачкой, то эффект будет уже существенный.

А попутно заблокируются пользователи, которые ходят через прокси, и полезные роботы, которые могут ходить с разных мест, с разными User-Agent названиями, и дальше по списку.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
Mik Foxi
На сайте с 02.03.2011
Offline
1130
#6
Artisan #:

А попутно заблокируются пользователи, которые ходят через прокси, и полезные роботы, которые могут ходить с разных мест, с разными User-Agent названиями, и дальше по списку.

тот кто блочит - тот должен понимать кого он блочит и зачем. а если из интернетом копирует не думая, то сам виноват и тоже все нормально 😂

S.E.R.
На сайте с 17.08.2008
Offline
146
#7
Artisan #:

А попутно заблокируются пользователи, которые ходят через прокси, и полезные роботы, которые могут ходить с разных мест, с разными User-Agent названиями, и дальше по списку.

Смотря, как блокировать. Если делать это бездумно, то да. 

Самый простой вариант, можно запретить по User-agent. В некоторых случаях уже только этот шаг может помочь. У реальных пользователей вряд ли будет user-agent:  AhrefsBot. 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий