Как заблокировать маскирующих ботов под Яндекс

1 234
Vladimir
На сайте с 07.06.2004
Offline
542
#21
alaev #:
Disallow: /
В смысле одной строкой?)

Все работает) Роботы получают страницу ту, что нужно
А переводчик редиректит самостоятельно страницу, потому как она с авторизацией ( доступ запрещен)

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
alaev
На сайте с 18.11.2010
Offline
723
#22
Vladimir #:
В смысле одной строкой?)

Все работает) Роботы получают страницу ту, что нужно
А переводчик редиректит самостоятельно страницу, потому как она с авторизацией ( доступ запрещен)

Да, действительно работает. Проверил на одном сайте.

Так что респект Mik Foxi.

Лишь бы яшка не начал это негативно воспринимать. Надо посмотреть на его реакцию в вебмастере

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
Mik Foxi
На сайте с 02.03.2011
Offline
1081
#23
alaev #:
Лишь бы яшка не начал это негативно воспринимать. Надо посмотреть на его реакцию в вебмастере

ровно 2 суток прошло с момента установки кода, пару страниц индекса нового появилось + в переобход отправлялось измененные страницы и в важных страницах есть список который часто посещает бот, проблем нету пока.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Алеандр
На сайте с 08.12.2010
Offline
189
#24
alaev #:

Да, действительно работает. Проверил на одном сайте.
Так что респект Mik Foxi.
Лишь бы яшка не начал это негативно воспринимать. Надо посмотреть на его реакцию в вебмастере

Имхо, любые игры с прописыванием условий под блокировки ботов поисковиков, рано или поздно, могут вылезти боком. Сейчас это работает, завтра в Яндексе решат добавить lang, по какой-то из причин, естественно об этом никто никого оповещать не будет. Но о том, что бот перестал получать контент можете узнать слишком поздно, когда позиции уже отлетят.

Схема допустима, но нужно отдавать себе отчет, что требуется или постоянно за этим присматривать, либо доверять уведомлениям вебмастера и что сможете вовремя среагировать, если что.

Vladimir
На сайте с 07.06.2004
Offline
542
#25
Алеандр #:

Имхо, любые игры с прописыванием условий под блокировки ботов поисковиков, рано или поздно, могут вылезти боком. Сейчас это работает, завтра в Яндексе решат добавить lang, по какой-то из причин, естественно об этом никто никого оповещать не будет. Но о том, что бот перестал получать контент можете узнать слишком поздно, когда позиции уже отлетят.

Схема допустима, но нужно отдавать себе отчет, что требуется или постоянно за этим присматривать, либо доверять уведомлениям вебмастера и что сможете вовремя среагировать, если что.

Вам лишь бы написать?
В вебмастере сразу появится 301 редирект или вы раз в месяц его просматриваете?
А, еще есть оповещения, для критически важных страниц. Они у вас тоже  не включены?



alaev
На сайте с 18.11.2010
Offline
723
#26
Платон написал, что они это пофиксили. Удивительно быстро. Респект Платонам!


fliger
На сайте с 17.09.2015
Offline
107
#27
alaev #:
они это пофиксили

Ничего не пофиксили. Только что зашел и проверил:

HTTP_USER_AGENT: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
HTTP_ACCEPT_LANGUAGE: en
REMOTE_ADDR: 5.255.253.46
HTTP_X_FORWARDED_FOR: 5.255.253.46
Алеандр
На сайте с 08.12.2010
Offline
189
#28
Vladimir #:
Вам лишь бы написать?
В вебмастере сразу появится 301 редирект или вы раз в месяц его просматриваете?
А, еще есть оповещения, для критически важных страниц. Они у вас тоже  не включены?

Я вам в прошлой теме еще ответил и повторюсь, вы предпочитаете решать созданную проблему, вместо того чтобы ее предупредить? Ну, без проблем. Наш подход отличается в том, что я НЕ допускаю появления проблем, а вы - начинаете решать их после того, как вам об этом напишут в вебмастере. В моем случае проблем у сайта не возникает, а в вашем - УЖЕ возникают и только потом вы начинаете что-то делать. Разницу ощущаете?

Никаких гарантий, что Яндекс не затормозит с оповещением, никаких гарантий, что эта ошибка УЖЕ улетит в индекс и выкинет ваши страницы. Вы предпочитаете "потом" решать? Спасибо, я предпочитаю просто не допускать таких ситуаций.

Именно потому у меня - работает и нет проблем, а у вас - беготня с решением того, что уже стало проблемой. Но, повторюсь, это ваши личные трудности и ваш подход, вот только других учить этому не советовал бы, не тому научите.

Vladimir
На сайте с 07.06.2004
Offline
542
#29
Алеандр #:

В моем случае проблем у сайта не возникает, а в вашем - УЖЕ возникают и только потом вы начинаете что-то делать. Разницу ощущаете?

Ощущаю, что перевернули все с ног на голову.  Это вы же решаете вопрос с дублями страниц в роботс, и вы боитесь их заблокировать, абы чего не вышло.
У меня трудностей нет: ни с ботами, ни с ошибками, ни с дублями, и роботс использузую по назначению минимально - нет надобности. И так как нет дублей, роботы ПС ежедневно обходят не более 2-8 страниц сайта ( из 1.5 к )

И естественно если в вебмастере, появляется ошибка, она правится тут же, и робот ее обходит тут же. Как вы понимаете ничего не вылетает из индекса - как у вас.
Вам же все обьяснили, и Артемий, даже пример вам выдал с вопросом, вы как то решили отмолчаться и исчезнуть


Vladimir
На сайте с 07.06.2004
Offline
542
#30
fliger #:

Ничего не пофиксили. Только что зашел и проверил:

Да, Роман Кузьминский, должен еще отписаться, ссылку ему на эту тему давал. ситуацию отписал.
Обещал вернуться))
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий