Есть ли разница URL со слешом и без?

http://www.google.ru/search?q=site:www.yandex.ru/m

Нет там ни одного примера со слешем на конце, а обсуждаем именно его

Какая разница какие задачи решает ПС, если они совпадают с моими

Проиндексированные дубли со слешем и без в конце (не в начала или середине), можно все таки увидеть?

И интересно, почему сайт у которого не настроен 301 для слешей должен выпадать из индекса, если конечно рукожопый вебмастер не прочитает о том как важен этот редирект и не полезет его настраивать? :)

Не понятно?:

Но продолжайте настаивать чтобы вам показали дубли с / и без (строго на конце).

Может ещё скажите, что остальные дубли — не дубли? Очень надо www.yandex.ru/m/?админ

Или есть какое-то принципиальное отличие этого мусора от / на конце?

Но вас никто не заставляет, верьте, что будет всё хорошо, и нигде внутри сайта вы по ошибке не сошлётесь куда не надо.

Ну-ну. Вы не из яндекса?

Хорошо, изменю вопрос, думаю не только мне будет интересно, ибо со слешами кажется и правда, дуют на воду, а вдруг кипяток :)

Есть примеры, сайта индексируемого без (или с слешами), и что бы одна/две/пять страниц проиндексировались с слешами (или без)?

В данном случае я не настаиваю что подобного не бывает, но на практике тоже не видел.

Не воспринимайте в штыки, но просто, если и таких примеров никто привести не сможет, то на чем тогда держится уверенность что для ПС это разные страницы?

ПС

Примеры хорошо бы живые, а не в духе

из воспоминаний многолетней давности

В мусоре отличий нет, но мы спорим, является ли наличие/отсутствие слеша на конце этим самым мусором, разными страницами для ПС. А вы настойчиво предлагаете примеры со слешем в середине...

ПС определяют дубли не по урлу и не по / в конце.

Дубли — это одинаковый контент (но нет инфы о том, как ПС эту одинаковость проверяет).

(если с моего 50 страничного сайта в индекс залезет 378 страниц, то мне это было бы не важно — если бы ПС не начала чистить свои закрома от того, что сочтёт дублями. При этом нет бесконечного количества ресурсов на идеальность этого процесса, ну типа раз в неделю что-то сверит и дальше побежит)

Вы не понимаете, что обычно вы видите результат уже после отфильтровывания дублей?

ццц.яндекс.ру/м

ццц.яндекс.ру/м/

таким примером долго был. Но там контент плывёт...

Для ПС любое изменение в урле (кроме регистра букв в домене) == другому адресу (это без вопросов, HTTP так устроен)... но фильтрация происходит по другим причинам.

И чтобы не создавать ПС даже минимальных проблем, контент должен быть доступен по единственному урлу. А то лечить дубли на 10000 страничном сайте ПС может слишком долго. Есть пределы количества обращений к сайту, хотя бы поэтому надо отдавать не-дубли.

Посмотрите на параноиков:

http://www.ashmanov.com/marketing/strategy/

HTTP/1.1 301 Moved Permanently

Location: http://www.ashmanov.com/marketing/strategy

https://www.yandex.ru/timeline/Жак_Ив_Кусто/ почему 302, а не 301?

богоносец, я же не спорю что лучше перебздедь, и тоже запуская новый сайт проверяю редиректы что бы все по феншую.

Вопрос интересен в теории. Ведь нет этих дублей, никто их не видел, хотя бы для молодых, аналогично с www в Гугле, пока ПС основной не определит.

Отсюда и предположение, что индексировать со слешем или без, определяется один раз, для всего сайта, до тех пор пока прямо не будет задано иное через 301, и видимо еще на стадии первичной индексации. Что кстати и для экономии ресурсов куда практичней…

У вас слишком человеческие предположения, что ПС якобы нужно некое единообразие урлов (со слешем или без, с www или без).

А если на каждую следующую скачанную сотню страниц ПС находит 76 дублей, то индексация продолжится?

И запросы бестолковые:

Вот эта хрень в индексе нужна?:

www.google.ru/search?q=site:www.yandex.ru/m

www.yandex.ru/search/?text=url%3Awww.yandex.ru%2Fm*

это всего лишь иллюстрация неидеальности алгоритма фильтрации дублей.

Вот эта самая неидеальность может и по вашему подопечному прокатиться, а потом «развивайте, улучшайте». Вы же не хотите учесть, что видите индекс уже после фильтрации, а в процессе — “никто не видел”. А с www.yandex.ru/m бесконечный процесс (контент неудобный для фильтрации).

богоносец, традиционно исходят из того, что со / и без, для ПС дубли аналогичные вашим примерам, т.е. мусорные страницы которые усложняют индексацию или даже могут повлечь санкции.

Вы пишите в индексе их нет потому что ПС уже отфильтровали.

При этом, необходимость настройки 301, обосновываете тем что фильтрация не идеальная (с чем трудно не согласится), и в качестве доказательства даже приводите примеры кривых ссылок. Но примера индексации дублей со слешем и без, нет ни одного, или ПС ни одного не показывают...

Это ведь само по себе свидетельствует что отношение не такое же как к мусорным страницам, а скорее как к www.

Но дубли www, хоть бы можно увидеть в Гугле, по крайней мере для молодых сайтов. Еще недавно можно было и в Яндексе.

Сейчас, на 100% не настаиваю, но на практике уже больше года не встречал. Видимо пофиксили, и рискну предположить, что еще до индексной базы. Т.е. – нет никакой фильтрации 10 000 дублей (а по факту треть всего инета), есть фиксированная индексация с www или без, и все. И никаких санкций, за отсутствие 301 на www (как и на слеш), или профита за его настройку не замечено (ссылочное отдельная тема, сейчас про дубли засоряющие индекс).

Проблема "/" по масштабу сопоставимая, чем тащить в индекс 5-15% всего инета, и потом фильтровать, или тупо не показывать, не логичней ли поступить как и с www?

Или считать одной и той же страницей, а в индекс брать как нашел на сайте т. е.

не только для поиска но и для индексации?

---------- Добавлено 09.01.2016 в 17:19 ----------

ПС

Из интереса повторю это

Первой по ходу стояла ссылка со слешем

она в индексе и отсвечивает, без слеша - нет или не показывает.

Теперь так

http://www.yandex.ru/m?m

http://www.yandex.ru/m?m/

И на всякий случай

http://www.yandex.ru/m?m?m

Что дублей в индексе не будет и так понятно, посмотреть какие варианты возьмет :)

Что с яндекс/м дублей в индексе не будет, это потому, что такой контент боту сложно счесть дублями (подсказка дорвейстрою).

Для показа в списке проиндексированных, т.е. по нормальным запросам может искаться, но не показаться с site: или url:

&filter=0 гуглю добавляйте.

Нет, возможно, вы видите результат уже после отфильтровывания. А может и нет.

А мне почему-то попались: 1 / 2 хотя я этим всем уже не занимаюсь несколько лет.

По определению: Дубли == одинаковый контент. Если он с www|слешем и без — это должно бы фильтроваться, но пока они перелопатят свою базу, а им приходится заниматься не одним конкретным вашим сайтом, а именно своими мегапроблемами. (и чтобы ПС отфильтрить ваши дубли, придётся выполнить кучу лишних HTTP обращений)

Реальные олгоритмы могут использовать и вид урла в качестве признака... но создатели кода в паблик не выкладывали.

Если с PHP проблем нет, сделайте разный ответ сервака на

домен/м

домен/м/

домен/м//

и запостите ссылки.

---------- Добавлено 09.01.2016 в 18:22 ----------

Дубли

https://www.1c-bitrix.ru/about/life/23

https://www.1c-bitrix.ru/about/life/photo

https://www.1c-bitrix.ru/about/life/гавно

https://www.1c-bitrix.ru/about/life/☻♫♥

https://www.1c-bitrix.ru/about/life/ส้้้

Финальным сегментом строки должен быть .html. Разделы и подразделы в которых лежат вложенные страницы, должны заканчиваться на слеш.

Ну конечно можно! В .htaccess прописывается правило

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.+)/$
RewriteRule ^(.+)/$ http://site.com.ua/$1 [R=301,L]