Форум Сайтостроение Безопасность

Стоит ли блокировать SemrushBot, MJ12bot, AhrefsBot, Bytespider ?

12
-S
На сайте с 10.12.2006
Offline
Модератор1356
-= Serafim =-
#11
Shelton724 #:

Думаете, если я, к примеру, сделаю себе бота для подобных дел, то буду проверять robots.txt на предмет того, хочет владелец ресурса, чтобы я к нему вторгался или нет?

"Нормальные" боты от компаний учитывают эти рекомендации, другие зловредные, конечно нет. Разумеется, что лучше блочить по странам и подсети хостеров.

yalol
На сайте с 12.12.2007
Offline
202
yalol
#12
Vin_cent #:

И я всегда блокировал и блокирую. Для этих сервисов польза понятна, а что нам взамен?

А для них какая польза?

Анти ДДОС
На сайте с 14.03.2020
Offline
68
Анти ДДОС
#13
yalol #:

А для них какая польза?

Ну вы можете купить акк на Ahrefs за 89$ (в месяц, как полагаю).
Данные будут построены на аналитике с сотен тысяч сайтов, в том числе вашего.

Ну или ваши конкуренты будут изучать нишу под микроскопом (и ваш сайт тоже), опираясь в том числе на данные, которые сервис спарсил у вас.

Настройка Cloudflare, поведенческие факторы, АнтиБот, ДДОС, Biterika Rostelecom прямые переходы https://antiddos24.ru
Artisan
На сайте с 04.03.2005
Offline
354
Artisan
#14
-= Serafim =- #:
"Нормальные" боты от компаний учитывают эти рекомендации, другие зловредные, конечно нет.

"Нормальный" бот от (archive.org) белой и пушистой конторы не учитывает.

https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/

На странице с адресом выше пояснение.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий