User-agent: AhrefsBot в robots.txt

N
На сайте с 17.12.2019
Offline
11
775

Может ли Гугл забанить сайт в поиске из-за этой строки User-agent: AhrefsBot?

T
На сайте с 24.09.2014
Offline
91
#1

Вероятно мог забанить за продажу ссылок, а она наверняка есть, судя по указанной директиве

РКН: консультации, помощь с разблокированием, работа с конкурентами.
N
На сайте с 17.12.2019
Offline
11
#2

То есть эта директива пытается помочь гуглу индексировать сайт?

T
На сайте с 24.09.2014
Offline
91
#3
nensiwow:
То есть эта директива пытается помочь гуглу индексировать сайт?

Гугл эту директиву не видит

Mik Foxi
На сайте с 02.03.2011
Offline
930
#4

AhrefsBot и ему подобных ненужных и вредоносных ботов нужно банить по юзерагенту в нгинксе/хтасесе, чтоб наверняка.

Антибот защита сайта от накрутки поведенческих, от спама, взлома и поиска xss, от хит и клик ботов, от парсинга и кражи контента, снижение нагрузки на сервер - https://antibot.cloud/ Вам все еще конкуренты генерят отказы?
Romanov Roman
На сайте с 21.06.2018
Offline
128
#5

<IfModule mod_rewrite.c>

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*SemrushBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*MJ12bot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*Riddler.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*aiHitBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*trovitBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*Detectify.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*BLEXBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*dotbot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*FlipboardProxy.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*rogerBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*MegaIndex\.ru/2\.0.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*LinkpadBot.*”

RewriteRule “.*” “-” [F]

</IfModule>

---------- Добавлено 28.01.2020 в 21:23 ----------

RewriteCond %{HTTP_USER_AGENT} AhrefsBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} SemrushBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} MJ12bot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} Riddler

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} aiHitBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} trovitBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} Detectify

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} BLEXBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} dotbot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} FlipboardProxy

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} rogerBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} LinkpadBot

RewriteRule (.*) – [F,L]

Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
seoanddev
На сайте с 10.11.2015
Offline
40
#6
nensiwow:
Может ли Гугл забанить сайт в поиске из-за этой строки User-agent: AhrefsBot?

Банить за такое не станет, он ее вообще воспринимать не должен.

Создам приватную PBN сеть под ключ [бурж] (/ru/forum/1020425)
slavegirl
На сайте с 25.06.2012
Offline
370
#7
foxi:
AhrefsBot и ему подобных ненужных и вредоносных ботов нужно банить по юзерагенту в нгинксе/хтасесе, чтоб наверняка.

Я через CloudFlare у себя их блокирую, Google там уже точно ничего не сможет увидеть! Ну разве что, если CloudFlare не продаст ему данные случайно, как обычно сейчас делают крупные корпорации.

На CloudFlare в учётке очень удобно этих ненормальных роботов добавлять, прям через браузер.

♛ Учимся зарабатывать биткоины — инвайт в приватную группу: https://t.me/joinchat/V9fxN7c9KI1ug0xE
seoanddev
На сайте с 10.11.2015
Offline
40
#8
slavegirl:
Я через CloudFlare у себя их блокирую, Google там уже точно ничего не сможет увидеть! Ну разве что, если CloudFlare не продаст ему данные случайно, как обычно сейчас делают крупные корпорации.

Ничего продавать не нужно, были новости что google выкупил часть CloudFlare.

Vladimir SEO
На сайте с 19.10.2011
Offline
1217
#9
nensiwow:
Может ли Гугл забанить сайт в поиске из-за этой строки User-agent: AhrefsBot?

от куда опасения? очень интересно

ᐈ Вечные ссылки БЕЗ БИРЖ с Гарантией https://buylink.pro/ (Промокод "kulinenko " - скидка 10%). ᐈПродвижение коммерческих сайтов https://kulinenko.com/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий