Cоотв. генерёнка должна вызывать правильную мимику.
ТС, проведите среди них опрос, знают ли они что такое АГС. (в чём смысл жизни и т.д)
Вообще на одном / можно много доров нагенерить на разные темы, урлы ведь kak-naiti-zapros.html не пересекаются.
Меньшинством ты был лет 10 назад, а щас мир перевернулся, стало мало тех, кто сайты не делает. А это специфичные зомби...
А вы в robots.txt клиентские скрипты закрывали?.. если вам ajax не помог.
Если вам ближе JS www.unmedia.ru/shablon-sajta.html поищите что-то из шапки, футера.
Если готовы на Content-Type: text/xml; добавьте в запрос из левого меню.
http://erum.ru/118.htm
Осталось провести ёксперименты на конкретной ЦА, подсунув им в случайном порядке сниппеты (со всеми подсветками болдом), на что они быстрее кликнут.
Ранжирующие системы не умеют понимать, а действуют по неидеальному алгоритму, иногда неэффективно, но всегда не в ваших интересах, а в интересах их создателя (причём в массе всего индекса, а не конкретных сайтов).
Существование страницы определяют по ответу 200.
Могут выкинуть из индекса /
оставив /index.php
На точное определение (очевидного людям) дубля у них может не быть никакой возможности.
Выкидывание из индекса дублей происходит не по логике вебмастера.
Это о чём?
Вы по заголовкам часто кликаете?
А каков % живых ползателей?
А что если у них в голове есть лишь то, что они написали в запросе?
А если они читают лишь первые 3 слова?
Уже вчера был и третий вариант, о котором не стали писать в учебниках по причине смерти SEO/
https://yandex.ru/search/?text=100+%D0%BB%D1%83%D1%87%D1%88%D0%B8%D1%85+url%3Awww.seo-dream.ru
https://yandex.ru/search/?text=%D0%B0%D0%B4%D0%B5%D0%BA%D0%B2%D0%B0%D1%82%D0%BD%D1%8B%D0%B5+%D1%81%D1%80%D0%BE%D0%BA%D0%B8+url%3Awww.seo-dream.ru
https://yandex.ru/yandsearch?text=%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D1%8B%D0%B9%20%D0%B7%D0%B0%D0%B3%D0%BE%D0%BB%D0%BE%D0%B2%D0%BE%D0%BA%20%D1%81%D0%BD%D0%B8%D0%BF%D0%BF%D0%B5%D1%82%D0%B0+%3C%3Curl%3Arambler-snippet.narod.ru/Variable-Showing-the-Document-Title.xml
А зачем ему это вам говорить? Идите машины чините.
«Знать» и «понимать» могут люди/лошади/обезьяны, но не боты.
А писание / выполнение слишком точно работающего алгоритма — дороже, чем хранение некоторого количества дублей.
Гугл добавил в индекс дубль www.google.ru/search?q=site:searchengines.guru+inurl:hash давно уже.
