Форум Сайтостроение Безопасность

Стоит ли блокировать SemrushBot, MJ12bot, AhrefsBot, Bytespider ?

12
yalol
На сайте с 12.12.2007
Offline
216
yalol
3389
Всем привет. Как-то парсили с нашего сайта какие-то сайты и я попросил хостеров заблокировать их IP. Хостеры сделали и добавили, что также закрыл доступ к ряду User-агентов роботов, не относящихся к поисковым системам, таких как SemrushBot, MJ12bot, AhrefsBot, Bytespider и др.  Верно ли это? Или мы могли таким образом порезать реальных пользователей?
Анти ДДОС
На сайте с 14.03.2020
Offline
92
Анти ДДОС
#1
Что-то никто из сео спецов не отвечает. Я блокирую, подписался на комменты.
Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
Vin_cent
На сайте с 22.01.2010
Offline
171
Vin_cent
#2

И я всегда блокировал и блокирую. Для этих сервисов польза понятна, а что нам взамен?

WN
На сайте с 22.02.2022
Offline
26
WantNight
#3
yalol :
Всем привет. Как-то парсили с нашего сайта какие-то сайты и я попросил хостеров заблокировать их IP. Хостеры сделали и добавили, что также закрыл доступ к ряду User-агентов роботов, не относящихся к поисковым системам, таких как SemrushBot, MJ12bot, AhrefsBot, Bytespider и др.  Верно ли это? Или мы могли таким образом порезать реальных пользователей?

Реальных не порежете. Если не используете эти сервисы для своих проектов - блокируйте, хуже не будет, а нагрузку на сервер снизите.

MB
На сайте с 24.02.2009
Offline
172
Mister_Black
#4
Я блокирую, через robots.txt таким образом, пока помогает 
User-agent: SemrushBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /

yalol
На сайте с 12.12.2007
Offline
216
yalol
#5
На самом деле после их блокировки сайт как-то быстрее заработал - страницы будто молниеносно начали открываться.
ХЗ
На сайте с 31.08.2008
Offline
155
Х.З.
#6
Кто-нибудь блокирует юзеров с tor?
alaev
На сайте с 18.11.2010
Offline
775
alaev
#7
Х.З. #:
Кто-нибудь блокирует юзеров с tor?

Конечно. С этих прокси ботов тоже качают. 

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
alaev
На сайте с 18.11.2010
Offline
775
alaev
#8
yalol :
Всем привет. Как-то парсили с нашего сайта какие-то сайты и я попросил хостеров заблокировать их IP. Хостеры сделали и добавили, что также закрыл доступ к ряду User-агентов роботов, не относящихся к поисковым системам, таких как SemrushBot, MJ12bot, AhrefsBot, Bytespider и др.  Верно ли это? Или мы могли таким образом порезать реальных пользователей?

И по useragent блокирую, и по ip. Часто вижу, что и гугл бота подделывают.

Shelton724
На сайте с 26.05.2011
Offline
263
Shelton724
#9
Mister_Black #:
Я блокирую, через robots.txt

Думаете, если я, к примеру, сделаю себе бота для подобных дел, то буду проверять robots.txt на предмет того, хочет владелец ресурса, чтобы я к нему вторгался или нет?

A
На сайте с 15.03.2008
Offline
130
Automaster
#10
alaev #:

И по useragent блокирую, и по ip. Часто вижу, что и гугл бота подделывают.

А как определить, что гугл бота подделывают? Вот в логах очень много вижу заходов похожих на ботов, но сеть их принадлежит Гугл (AS15169 GOOGLE). Пока их блокирую, но всё же сомневаюсь...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий