А как?
Почему вы думаете, что они что-то подтверждают?
Мне пару месяцев назад ответили, что ихний бот получил такой-то роботс.тхт (запрещающий всё).
Вот пример реальной переписки 2010
В индексе. Сравните то, что видите в браузере с тем, что есть в исходном коде. Так можно прикрывать от ботов хоть навигацию, хоть дублирование всяких там футеров с копирайтами. А в реальном случае — боту показывается то, что ему и надо видеть, вроде бы (вопросы веры/правильности того, что именно надо показывать тут не рассматриваются).
Без &rd=0 | С &rd=0
это как бы слишком примитивно всё. УниКализаторы обходить давно научились.
Тут более интересное попадается, объясните попадание в выдачу текста без слов запроса... по таким краевым эффектам можно пытаться делать выводы про аннотирование.
Вот вообще экзотика. Disallow: /
/ru/forum/comment/9674710
Пока ПС культивируют собственную отсталость, многое удаётся скрывать от них обеих
JS-пример Бурундука.
XML-пример по мотивам Аяврика.
Ну как зачем? site:leningradspb.ru его можно вывести?
Закрыть контент от ПС в javascript
Как сделать ссылку JS
[noparse]inurl:param2[/noparse]
Вот пример бы.
С кэшем сравнивали?
Этого предсказать нельзя.
Сама эта фича логическому объяснению не поддаётся.
Вот Гугль индексил оба регистра как разные страницы.
Двиг ковырять.
На этом форуме в другом регистре не увидете
зы Проблемы возможны /ru/forum/651144