Дубли. Дубли. И так в индексе лишнее...
А потом в Гугле. Может вообще убрать?
Представим себе, что на них вдруг перестали кликать...
::
ps сначала придумать то, как бот действовать просто не умеет, а потом счесть это тупиком.
А как?
Почему вы думаете, что они что-то подтверждают?
Мне пару месяцев назад ответили, что ихний бот получил такой-то роботс.тхт (запрещающий всё).
Вот пример реальной переписки 2010
В индексе. Сравните то, что видите в браузере с тем, что есть в исходном коде. Так можно прикрывать от ботов хоть навигацию, хоть дублирование всяких там футеров с копирайтами. А в реальном случае — боту показывается то, что ему и надо видеть, вроде бы (вопросы веры/правильности того, что именно надо показывать тут не рассматриваются).
Без &rd=0 | С &rd=0
это как бы слишком примитивно всё. УниКализаторы обходить давно научились.
Тут более интересное попадается, объясните попадание в выдачу текста без слов запроса... по таким краевым эффектам можно пытаться делать выводы про аннотирование.
Вот вообще экзотика. Disallow: /
/ru/forum/comment/9674710
Пока ПС культивируют собственную отсталость, многое удаётся скрывать от них обеих
JS-пример Бурундука.
XML-пример по мотивам Аяврика.
Ну как зачем? site:leningradspb.ru его можно вывести?
Закрыть контент от ПС в javascript
Как сделать ссылку JS
[noparse]inurl:param2[/noparse]