Как заблокировать маскирующих ботов под Яндекс

В смысле одной строкой?)

Все работает) Роботы получают страницу ту, что нужно
А переводчик редиректит самостоятельно страницу, потому как она с авторизацией ( доступ запрещен)

Да, действительно работает. Проверил на одном сайте.

Так что респект Mik Foxi.

Лишь бы яшка не начал это негативно воспринимать. Надо посмотреть на его реакцию в вебмастере

ровно 2 суток прошло с момента установки кода, пару страниц индекса нового появилось + в переобход отправлялось измененные страницы и в важных страницах есть список который часто посещает бот, проблем нету пока.

Имхо, любые игры с прописыванием условий под блокировки ботов поисковиков, рано или поздно, могут вылезти боком. Сейчас это работает, завтра в Яндексе решат добавить lang, по какой-то из причин, естественно об этом никто никого оповещать не будет. Но о том, что бот перестал получать контент можете узнать слишком поздно, когда позиции уже отлетят.

Схема допустима, но нужно отдавать себе отчет, что требуется или постоянно за этим присматривать, либо доверять уведомлениям вебмастера и что сможете вовремя среагировать, если что.

Вам лишь бы написать?
В вебмастере сразу появится 301 редирект или вы раз в месяц его просматриваете?
А, еще есть оповещения, для критически важных страниц. Они у вас тоже  не включены?

Платон написал, что они это пофиксили. Удивительно быстро. Респект Платонам!

Ничего не пофиксили. Только что зашел и проверил:

HTTP_USER_AGENT: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

HTTP_ACCEPT_LANGUAGE: en

REMOTE_ADDR: 5.255.253.46

HTTP_X_FORWARDED_FOR: 5.255.253.46

Я вам в прошлой теме еще ответил и повторюсь, вы предпочитаете решать созданную проблему, вместо того чтобы ее предупредить? Ну, без проблем. Наш подход отличается в том, что я НЕ допускаю появления проблем, а вы - начинаете решать их после того, как вам об этом напишут в вебмастере. В моем случае проблем у сайта не возникает, а в вашем - УЖЕ возникают и только потом вы начинаете что-то делать. Разницу ощущаете?

Никаких гарантий, что Яндекс не затормозит с оповещением, никаких гарантий, что эта ошибка УЖЕ улетит в индекс и выкинет ваши страницы. Вы предпочитаете "потом" решать? Спасибо, я предпочитаю просто не допускать таких ситуаций.

Именно потому у меня - работает и нет проблем, а у вас - беготня с решением того, что уже стало проблемой. Но, повторюсь, это ваши личные трудности и ваш подход, вот только других учить этому не советовал бы, не тому научите.

Ощущаю, что перевернули все с ног на голову.  Это вы же решаете вопрос с дублями страниц в роботс, и вы боитесь их заблокировать, абы чего не вышло.
У меня трудностей нет: ни с ботами, ни с ошибками, ни с дублями, и роботс использузую по назначению минимально - нет надобности. И так как нет дублей, роботы ПС ежедневно обходят не более 2-8 страниц сайта ( из 1.5 к )

И естественно если в вебмастере, появляется ошибка, она правится тут же, и робот ее обходит тут же. Как вы понимаете ничего не вылетает из индекса - как у вас.
Вам же все обьяснили, и Артемий, даже пример вам выдал с вопросом, вы как то решили отмолчаться и исчезнуть

Да, Роман Кузьминский, должен еще отписаться, ссылку ему на эту тему давал. ситуацию отписал.
Обещал вернуться))