Ну ведь это не противоречит целям и задачам СКР.
Не столь трудно изучить поведение ботов и специально для них сделать страницы, на которых часть контента рисуется:
JS http://www.unmedia.ru/shablon-sajta.html
XSLT http://seo-xslt.narod.ru/How-to-Rid-the-Robots-from-Duplicate-Content.xml
или ещё чем-нибудь, что вы знаете, а боты не исполняют.
Если же вебмастер не вникает в детали, то в его воображении лишь буквосочетания JS, jQuery, AJAX... а потом гуглоиды плачут:
Метры в ЦАО законодательно приравняют к метрам в новоебенево/токио/париже. Но чуть позже...
А это не индексация настроена, а выполнен учёт поведения ботов. Но искать это по форуму — не позволяет упрощённая картина мира.
Нету никакой ответственности даже за содержимое Директа
https://www.google.ru/search?q=%D0%BC%D1%8B+%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81+%D1%86%D0%B8%D0%BD%D0%B8%D0%BA%D0%B8
Ну вот видите, вы просто злобный конкурент.
Они нужные, но не ботам. Вот хватит тупить как бот щукин.
Лучше ядерный взрыв. Но эффекты с непрозрачностью плазмы всё портят...
Да наоборот, это Грей вам должен платить...
( но нет же более рентабельного способа что-то стимулировать, чем запретить и контролировать выполнение. Вот кто-то щас и думает — чего бы ещё запретить? )
Догонят и ещё раз не накажут.
Факт перехода (слив трафа) по закрытой от бота сцылке вы не закроете... с учётом % браузеров, фактически принадлежащих ранжирующими системам.
Ну а если вам поиграться в pagerank sculpting, играйтесь, всё равно опоздали.
А можно весь список того, что нельзя детям?