User-agent: AhrefsBot в robots.txt

N
На сайте с 17.12.2019
Offline
20
784

Может ли Гугл забанить сайт в поиске из-за этой строки User-agent: AhrefsBot?

T
На сайте с 24.09.2014
Offline
91
#1

Вероятно мог забанить за продажу ссылок, а она наверняка есть, судя по указанной директиве

РКН: консультации, помощь с разблокированием, работа с конкурентами.
N
На сайте с 17.12.2019
Offline
20
#2

То есть эта директива пытается помочь гуглу индексировать сайт?

T
На сайте с 24.09.2014
Offline
91
#3
nensiwow:
То есть эта директива пытается помочь гуглу индексировать сайт?

Гугл эту директиву не видит

Mik Foxi
На сайте с 02.03.2011
Offline
1007
#4

AhrefsBot и ему подобных ненужных и вредоносных ботов нужно банить по юзерагенту в нгинксе/хтасесе, чтоб наверняка.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html за рубли и без санкций.
Romanov Roman
На сайте с 21.06.2018
Offline
145
#5

<IfModule mod_rewrite.c>

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*SemrushBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*MJ12bot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*Riddler.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*aiHitBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*trovitBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*Detectify.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*BLEXBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*dotbot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*FlipboardProxy.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*rogerBot.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*MegaIndex\.ru/2\.0.*” [OR]

RewriteCond %{HTTP_USER_AGENT} “.*LinkpadBot.*”

RewriteRule “.*” “-” [F]

</IfModule>

---------- Добавлено 28.01.2020 в 21:23 ----------

RewriteCond %{HTTP_USER_AGENT} AhrefsBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} SemrushBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} MJ12bot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} Riddler

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} aiHitBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} trovitBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} Detectify

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} BLEXBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} dotbot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} FlipboardProxy

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} rogerBot

RewriteRule (.*) – [F,L]

RewriteCond %{HTTP_USER_AGENT} LinkpadBot

RewriteRule (.*) – [F,L]

Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
seoanddev
На сайте с 10.11.2015
Offline
40
#6
nensiwow:
Может ли Гугл забанить сайт в поиске из-за этой строки User-agent: AhrefsBot?

Банить за такое не станет, он ее вообще воспринимать не должен.

Создам приватную PBN сеть под ключ [бурж] (/ru/forum/1020425)
slavegirl
На сайте с 25.06.2012
Offline
367
#7
foxi:
AhrefsBot и ему подобных ненужных и вредоносных ботов нужно банить по юзерагенту в нгинксе/хтасесе, чтоб наверняка.

Я через CloudFlare у себя их блокирую, Google там уже точно ничего не сможет увидеть! Ну разве что, если CloudFlare не продаст ему данные случайно, как обычно сейчас делают крупные корпорации.

На CloudFlare в учётке очень удобно этих ненормальных роботов добавлять, прям через браузер.

❤ Сарказм is my orgazm -- https://t.me/joinchat/RKtR6f68OwU1NzM6
seoanddev
На сайте с 10.11.2015
Offline
40
#8
slavegirl:
Я через CloudFlare у себя их блокирую, Google там уже точно ничего не сможет увидеть! Ну разве что, если CloudFlare не продаст ему данные случайно, как обычно сейчас делают крупные корпорации.

Ничего продавать не нужно, были новости что google выкупил часть CloudFlare.

Vladimir SEO
На сайте с 19.10.2011
Offline
1398
#9
nensiwow:
Может ли Гугл забанить сайт в поиске из-за этой строки User-agent: AhrefsBot?

от куда опасения? очень интересно

ᐈ Лучшая проверка позиций http://allpositions.ru/redirect/10965 ᐈПродвижение коммерческих сайтов https://kulinenko.com/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий