Алеандр

Значит еще не пришло, пока что последнее, что накидывали - попапы с тем, что они добавили новые тёмные темы в почту )
IMAP - само собой, это и имел ввиду. Я к тому, что на Яндексе я пока этим не утруждаюсь, хотя может тоже стоило бы, а вот на хостинге без синхронизации вряд ли рискну.

Сам использую на Яндексе, а где почитать про платность и тарифах? Вроде бы не попадалось, обычно уведомляют в самой почте.

Альтернатива, как по мне - использовать почту на хостинге. Есть парочка где использую, плюс-минус нормально. Единственное что, наверное оптимально будет работать с синхронизацией на локальный диск, дабы ничего никуда не пропало в случае смены хостера или каких-то проблем.

Имхо, любые игры с прописыванием условий под блокировки ботов поисковиков, рано или поздно, могут вылезти боком. Сейчас это работает, завтра в Яндексе решат добавить lang, по какой-то из причин, естественно об этом никто никого оповещать не будет. Но о том, что бот перестал получать контент можете узнать слишком поздно, когда позиции уже отлетят.

Схема допустима, но нужно отдавать себе отчет, что требуется или постоянно за этим присматривать, либо доверять уведомлениям вебмастера и что сможете вовремя среагировать, если что.

Они сами себе противоречат. С одной стороны они не будут индексировать страницу и ее содержание, с другой стороны они допускают размещение ссылки в выдаче с чужим сниппетом и тайтлом (что логично, ведь они не проиндексируют содержимое напрямую). При этом, у этой страницы, очевидно, нет уже проиндексированного и доступного урл, который бы он вывел как положено.

Если бы эти правила не запрещали индексирование, то при попытке добавить в индекс запрещенную страницу мы бы не получали сообщение:

Во время проверки были обнаружены ошибки индексирования URL.

То есть, все же, директивы в роботс на практике запрещают индексирование, независимо от того, что у них написано в помощи. Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.

Но, пусть, согласен, я допускаю такую возможность с его стороны, хотя это один фиг вариант исключения, которое еще попробуй создай: ссылка, которая размещена на очень трастовых сайтах, чтобы повлиять на это решение, с соответствующим контентом на этих чужих сайтах и не имеющая доступного разрешенного урл к индексации содержания страницы.

Во всех остальных, заведомо распространенных случаях, везде используется роботс без каких-либо проблем с индексацией или запретом индексации ненужных страниц или сокрытия дублей. А ноиндекс - вещь хорошая, но на динамических страницах с разными урл и одним содержанием - не практична. Там, где вам вообще нужно исключить попадание страницы в индекс - пароль, как они советуют, или ноиндекс. В обсуждаемом же случае закрытия дублей в виде get параметров - редко применимо и только роботс, в таких ситуациях - главное решение. И никаких проблем с его использованием, ибо, если не считать описанного исключения - все работает как положено и без проблем. Конечно, если не ошибаться в составлении правил роботс.

Так это у вас гугл умудряется страницы в индекс забирать без их сканирования ) Не у меня.

Попробуйте тоже, тогда вы сможете обратить внимание, что ответ был не на ваш пост.

https://searchengines.guru/ru/forum/1070455/page4#comment_16852301

Будет, еще как будет.

Наверное потому, что в ваших цитатах именно об этом и речь: гугл принимает роботс как правила, по которым ему указывается, какие страницы запрещено сканировать, а не отсканировав, он их ну никак не проиндексирует. Л - логика.

Пример дал выше, попробуйте в консоли гугла добавить вручную индексацию страницы, которая в роботс на этом сайте запрещена. Тогда вернемся к вопросу, что гугл игнорирует роботс.

Не выяснится ) Поскольку я точно знаю какие параметры урл мне необходимы, какие нет и как работать с этим всем. Именно потому у меня нет проблем ни с дублями, ни с параметрами, ни с чем-то еще. Только я прописываю все нужное сразу, еще до запуска сайта, чтобы потом не бегать с паникой, ища какой параметр забыли открыть-закрыть и как теперь исправить то, что уже в индексе.

Собственно, не по метке, а по всем параметрам, которые не используются на сайте. Это с самого начала и талдычу так то. Вы офигеете угадывать какие параметры окажутся для вас лишними и какие левые ссылки на вас понаставят пользователи. Это априори простейшее: запретить ВСЁ и разрешить нужное. Об этом уже 5ю страницу речь и ведется.

В тексте идет речь о том, что для того, чтобы проиндексировать страницу - ее нужно просканировать. По вашему, гугл через воздух получает текст страницы или, он все же, ее сначала должен отсканировать? Должен придти бот, зайти на сервер, получить страницу? И, даже если делать запрос страницы из сервиса гугла, то он сначала идет получает роботс, а уже потом идет за страницей. Тоже самое он делает и на каждую серию индексации. Это прекрасно видно в логах. В логи давно заглядывали? Гуглу совершенно наплевать откуда он узнал о ссылке: на сайте, на чужом сайте, из сайтмапа, плевать он хотел. Получать страницу без посещения сервера он пока еще не научился.

Делаем элементарно, идем в гугл консоль, вбиваем страницу, которая у вас запрещена на сайте к индексированию в роботс, и предлагаем ему ее добавить в индекс вручную. На что получаем замечательную плашку с ответом:

Во время проверки были обнаружены ошибки индексирования URL.

Только что сходил, проверил. Можете тоже пойти проверить, понаблюдать. Потом, можете еще сто раз написать о том, как гугл игнорирует роботс )