У вас слишком человеческие предположения, что ПС якобы нужно некое единообразие урлов (со слешем или без, с www или без).
А если на каждую следующую скачанную сотню страниц ПС находит 76 дублей, то индексация продолжится?
И запросы бестолковые:
Вот эта хрень в индексе нужна?:
www.google.ru/search?q=site:www.yandex.ru/m
www.yandex.ru/search/?text=url%3Awww.yandex.ru%2Fm*
это всего лишь иллюстрация неидеальности алгоритма фильтрации дублей.
Вот эта самая неидеальность может и по вашему подопечному прокатиться, а потом «развивайте, улучшайте». Вы же не хотите учесть, что видите индекс уже после фильтрации, а в процессе — “никто не видел”. А с www.yandex.ru/m бесконечный процесс (контент неудобный для фильтрации).
ПС определяют дубли не по урлу и не по / в конце.
Дубли — это одинаковый контент (но нет инфы о том, как ПС эту одинаковость проверяет).
(если с моего 50 страничного сайта в индекс залезет 378 страниц, то мне это было бы не важно — если бы ПС не начала чистить свои закрома от того, что сочтёт дублями. При этом нет бесконечного количества ресурсов на идеальность этого процесса, ну типа раз в неделю что-то сверит и дальше побежит)
Вы не понимаете, что обычно вы видите результат уже после отфильтровывания дублей?
ццц.яндекс.ру/м
ццц.яндекс.ру/м/
таким примером долго был. Но там контент плывёт...
Для ПС любое изменение в урле (кроме регистра букв в домене) == другому адресу (это без вопросов, HTTP так устроен)... но фильтрация происходит по другим причинам.
И чтобы не создавать ПС даже минимальных проблем, контент должен быть доступен по единственному урлу. А то лечить дубли на 10000 страничном сайте ПС может слишком долго. Есть пределы количества обращений к сайту, хотя бы поэтому надо отдавать не-дубли.
Посмотрите на параноиков:
http://www.ashmanov.com/marketing/strategy/
HTTP/1.1 301 Moved Permanently
Location: http://www.ashmanov.com/marketing/strategy
https://www.yandex.ru/timeline/Жак_Ив_Кусто/ почему 302, а не 301?
Не понятно?:
Но продолжайте настаивать чтобы вам показали дубли с / и без (строго на конце).
Может ещё скажите, что остальные дубли — не дубли? Очень надо www.yandex.ru/m/?админ
Или есть какое-то принципиальное отличие этого мусора от / на конце?
Но вас никто не заставляет, верьте, что будет всё хорошо, и нигде внутри сайта вы по ошибке не сошлётесь куда не надо.
Ну-ну. Вы не из яндекса?
В запросе он не чувствует / (и таким запросом индексацию не проверяют)
и у него не та скорость, что у гугла
(и может быть вам понравился мусор в гугл.индексе).
У ПС есть задача сократить расход своего железа. Они решают свою задачу, а не вашу. Не понятно? Со своей задачей они справляются часто, а с вашей как получится. Правильно получается не в 100% случаев.
Как правило вы видите результат уже после отфильтровывания дублей (изредка это может сопровождаться вылетом всего сайта).
Возможно вы смотрели раньше, чем бот принял меры. Но подобные меры могли быть и не желательны для вебмастера. Ну пусть пишет боту щукину.
Вы хотите чтобы я 7 минут поковырялся и сделал такое? Сделайте сами.
А то, как обычно настроены серваки — лишь один из возможных для ПС случаев.
Ну щас попостим, посмотрим..
А с параметрами там уже есть со слешем и без.
Если сделать, то бывает.
Со слешем и без него — это разные урлы для ПС.
Если вы чего не видели, то вполне возможно индексация того сцайта для ПС когда-то оказывалась под вопросом. И автоматическое решение проблемы случайно оказалось таким, как хотелось бы вебмастеру, но вероятность этого < 80%.
http://www.yandex.ru/m
http://www.yandex.ru/m?туфта
http://www.yandex.ru/m/?дубль
И со слешем, и без, и хернёй в параметрах http://www.google.ru/search?q=site:www.yandex.ru/m
просто подобные страницы олгоритму трудно счесть дулями — они попадают в индекс с разным контентом.
Нет, не так.
Если у вас со слешем и без него разный контен, то это не дубли.
www.google.ru/search?q=%E0%B8%AA%E0%B9%89%E0%B9%89%E0%B9%89
www.google.ru/search?q=%E2%98%9E
www.google.ru/search?q=%E0%BC%BC+%E0%BA%88%D9%84%CD%9C%E0%BA%88%E0%BC%BD
Просто эти символы считаются чем-то типа буков/иероглифов
(ПС вообще ищут ранжируют не слова, а наборы символов)
(при этом ТП многозначительно отвечала, что мол на хз каком языке мы не ищем, но это может быть проиндексировано).
www.google.ru/search?q=Text+faces
Попробуйте в форму запроса вбить что-то из ☻ ♫ ♥ и гугл вывалит вам подсказки с такой хренью, т.е. их ищут. Но именно эти символы не ищутся, типа это не буква... хотя ими можно чего-то в выдаче приукрашивать (но не в тайтлах).
А типа-буквами можно и в тайтлах www.google.ru/search?q=%DC%93+ресниц
Всунуть-то можно, но сразу в несколько.
. <meta name="description" content="Wenn Sie Deutsch und Sie Porno gerne hier finden Sie die Röhre, die Sie suchen finden. Free pornos XXX mobile video und HD ด้้้้้็็็็็้้้้้็็็็็้้้้้้้้็็็็็้้้้้็็็็็้้้้้้้้็็็็็้้้้้็็็็็้้้้้้้้็็็็็้้้้้็็็็็"/> .
И надо разными браузерами посмотреть.
Вообще гуглоиды много чего из UTF не хотят показывать в выдаче, особенно жёстко в тайтлах фильтровали, не хотели показывать что-то типа ▼ ◆ ☻ ♫ ◊ ♥
А эту хрень показывают даже в тайтлах и урлах
Так кажется только т.н. всем россиянам.
Не всем.
