Форум Практика оптимизации Сервисы и программы для работы с SE

PBN - блокировка ботов Majestic и прочих в htaccess

TJ
На сайте с 20.06.2018
Offline
10
TodoJackson
1174

Всем привет,

заблокировал бот Majestic и прочих подобных сервисов в .htaccess на каждом PBN.

Для блокировки использую такой код: 


# BEGIN Hide My Links

<IfModule mod_rewrite.c>

	RewriteEngine on

	RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*spbot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*exabot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*boitho.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*psbot.*" [OR]

	RewriteCond %{HTTP_USER_AGENT} ".*sogou.*"

	RewriteRule ".*" "-" [F]

</IfModule>

# END Hide My Links

Если эмулирую "User-Agent: MJ12bot" в браузере - вижу 403 код (так и должно быть).

Однако majestic внезапно стал показывать ссылки с закрытых сайтов.

Кто-то сталкивался с подобным?

Н
На сайте с 27.02.2013
Offline
78
Неуч
#1

Никак. Смириться.

А что вы прячите то? Вы серьезно думаете что сложно поменять юзерагента и ip адрес?

М
На сайте с 13.03.2019
Offline
1
Маломальский
#2
Неуч:
Никак. Смириться.
А что вы прячите то? Вы серьезно думаете что сложно поменять юзерагента и ip адрес?

Если я правильно понимаю, то Алеша потратил на сбор семантического ядра 7 дней, а Вася потратил столько денег, согласно тарифу (допустим: MegaIndex) и выгрузил структуру Алеши за 10 минут. То есть если заблокировать штатного паука, то и информации о % конкуренции по запросу не будет. Понятно что целенаправлено можно сделать многое, но если не ставит заборы, то по газону ездить будет кто угодно, а это ресурс сервера.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий