Да, есть такой момент.
Спасибо за статью.
alexeygopro,
это для закрытия всей страницы от индексации, не отдельного элемента.
зачем делать редирект с одних 404 страниц на другие?
по бренду - может быть.
это точно.
Викимарт тогда был очень популярен, и на эту тему они тоже рассказывали интересные наблюдения.
DMOZ - это другой пример.
Сервисы Яндекса в прошлое не уходят.
ну все, они ответили, что все нормально.
смотря что вы будете делать.
Не банят, конечно, здесь ведь нет нарушения в том, что пользователям выдается некий другой контент.
Они попадают на страницы с тем же контентом, что и роботы.
Но робот видит HTML-версию страницы , которую без рендеринга ему нельзя показать.
согласен.
Тогда лично я выбрал бы индексируемые комментарии.
оно, как правило, носит единичный характер.