Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Бот переходит на закрытую страницу

B3
На сайте с 23.09.2016
Offline
46
blin3000
739

Здравствуйте! Прошу совета.

Есть сайт www.sitename.com

на сайте есть картинки и ссылки — переходы на CPA партнерку

переход осуществляется через субдомен api.sitename.com

(на субдомене срабатывает перенаправление на сайт партнера)

Задача - боты ПС не должны тратить силы на субдомен =)

на основном сайте все картинки и ссылки rel="nofollow"

на субдомене в роботс.тхт:

User-agent: *

Disallow: /

по логам видно, что бот гугла не ходит на субдомен,

а yandex.bot — ходит

Подскажите это нормальная ситуация? Пусть ходит, главное чтобы не индексировал?

И если неправильная, как запретить?

Спасибо!

Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#1

blin3000, индексировать не должен. а ходить он все равно будет, он такой вот наглый.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
GE
На сайте с 26.02.2014
Offline
74
GlebEGA
#2

Ситуация нормальная.

Запрет через <meta name="robots" content="noindex, nofollow"> надёжней, но всё равно нет 100% гарантии, что робот не сунется.

Ну или тупо фильтруйте по User-agent и отдавайте роботам 404, если любите хардкор.

Аудиты, консультации по SEO. Пишите ЛС.
B3
На сайте с 23.09.2016
Offline
46
blin3000
#3

Спасибо!

Большое количество 404 ведь может сильно навредить в общем? Разве не так?

[Удален]
#4
GlebEGA:
Запрет через <meta name="robots" content="noindex, nofollow"> надёжней, но всё равно нет 100% гарантии, что робот не сунется.

Серьезно? Бот не сунется на страницу, у которой вот это в html прописано?)))

---------- Добавлено 28.06.2017 в 13:14 ----------

GlebEGA:
Ну или тупо фильтруйте по User-agent и отдавайте роботам 404, если любите хардкор.

А нет, не отжыг. Но смысла нет - добрые люди все равно подскажут.

B3
На сайте с 23.09.2016
Offline
46
blin3000
#5

Если не сложно, не могли бы вы попонятней разъяснить вашу позицию по этому вопросу, спасибо! Специально написал в ветку "для новичков" )

AE
На сайте с 28.08.2007
Offline
121
AVMSEE
#6

Ставьте куку секунд через 5 после загрузки страницы, потом на поддомене проверяйте эту куку, если она есть значит не робот, если ее нет - робот. Роботу 404 или что хотите.

Узнай больше о Coca-Cola (https://www.coca-cola.ru/product?ref=17)
[Удален]
#7
blin3000:
по логам видно, что бот гугла не ходит на субдомен,

это вы так думаете ;)

[Удален]
#8

blin3000, закрыли в роботс и забейте. Можно было бы и с этим не париться.

[Удален]
#9
Miha Kuzmin (KMY):
blin3000, закрыли в роботс и забейте. Можно было бы и с этим не париться.

там проблема что бы из индекса не выкинули за партнёрки;)

можно не переживать, рано или поздно выкинет 🤪

[Удален]
#10

burunduk, это вообще не проблема, потому что выкинет:

1. Отслеживание поведения через тот же бар/браузер;

2. Добрые люди.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий