дубли или это норма?

site.ru#что_угодно - это якорная ссылка, не дубль.

site.ru/page?что_угодно - это дубль, если эта страница содержит тот же контент что и site.ru/page

спасибо

а если =site.ru/?что_угодно

или site.ru/&что_угодно

или site.ru/page&что_угодно

и вообще, что именно считать дублями? именно символ # не дает дубля, а все остальные дают?

есть ли какие-то правила на этот счет? где можно почитать?

что лучше делать с дублями - закрывать в роботсе или делать редирект? или и то и другое?

Заранее спасибо

аккаунт 2003 года спрашивает закрывать ли в роботсе дубли??????? да ладно )))

по теме - закрывать

при всем уважении - ваш ответ не так чтобы сильно по теме, уж извините.

не было вопроса, закрывать ли дубли... был вопрос - что лучше - закрывать, редиректить или и то и другое...

и еще был вопрос, что именно считать дублями.

к примеру, адрес site.ru/&что_угодно должен вроде бы выдавать ошибку 404. а он на одном весьма уважаемом сайте выдает совершенно спокойно главную страницу, так, же как

site.ru/?что_угодно

site.ru/page&что_угодно

site.ru/category/subcategory?product_id=60033077&что угодно

site.ru/category/subcategory?product_id=60033077?что угодно

и ни редиректа нети, на в роботе не закрыто от индексации...

и у многих сайтов в принципе то же самое... отсюда и вопросы

# - это якорь (anchor).

http://htmlbook.ru/samhtml/yakorya

Вы какое-то место на странице помечаете <a name="place"></a> и ставите ссылку на это место в тексте <a href="#place">текст ссылки</a>

Посмотрите как в Википедии меню на странице сделано http://ru.wikipedia.org/wiki/HTML

Якоря - это не дубли. Якоря помогают организовать хорошую навигацию на сайте - можно поставить ссылку не просто на страницу, а на конкретное место в тексте

Например, вот что Яндекс считает дублями

Дубли не только site.ru/page&что_угодно

Скажем это 4 дубля главной старницы сайта

www.site.ru

site.ru

www.site.ru/index.html

site.ru/index.html

или

site.ru/mebel/stoli/

site.ru/stoli/mebel/

если страница выдается одна и та же

Убирают их по-разному

1) 301 редиректом

c www на без www или наоборот

c site.ru/index.html на site.ru

с site.ru/folder-name на site.ru/folder-name/

2) canonical link

http://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical

Этот способ лучше использовать для дублей типа или site.ru/&что_угодно или site.ru/page?что_угодно

Часто такие урлы являются следствием сортировок, фильтров, выборок в каталоге.

3) ну или в роботсе, но это плохой способ

"что лучше делать с дублями - закрывать в роботсе или делать редирект? или и то и другое?"

вот ваш вопрос , я на него ответил

Спасибо. Но я, видимо, как-то неправильно изъясняюсь ))).

4 дубля главной страницы на сайте закрыты и закрыты вроде правильно все редиректятся на site.ru

site.ru/page&что_угодно - выдает ошибку 404 - это правильно, так и должно быть...

а вот

site.ru/&что_угодно - показывает главную

и site.ru/?что_угодно - показывает главную

и страница с товарами выдает бесконечно количество дублей по типу

site.ru/category/subcategory?product_id=60033077&что угодно

site.ru/category/subcategory?product_id=60033077?что угодно

я стала говорить, что это нужно исправлять, а мне в ответ привели кучу сайтов, где это все работает именно так и сайты прекрасно находятся в выдаче... а также в пример привели тот сайт, который является главным конкурентом в выдаче - мол, типа у него вот то же самое и голову нам не морочьте, ну не так грубо, но смысл такой. А дубли - это, мол, типа только те страницы, которые по разным адресам типа site.ru/что-то.html и site.ru/что-то другое.html, а все остальное - это фильтры, которые генерирует скрипт сайта и это совершенно нормально... вот не знаю, стоит ли упираться и говорить, что все-таки надо что-то делать и портить отношения с начальством ))) или пускай будет, может это не так страшно?

---------- Добавлено 18.04.2014 в 11:17 ----------

то есть закрыть в роботсе - достаточно? если генерится бесконечное множество страниц можно спокойно закрыть их в роботсе от индексации и все?

еще вопрос - если после .html можно поставить что угодно и откроется все равно нужная страница - это норма или ошибка?

например:

site.ru/products/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.html?sfasfasfasfaf

site.ru/products/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.html&sfasfasfasfaf

страницы открываются нормально

это норма?

а если products/ убрать и все равно открываются -

site.ru/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.html&sfasfasfasfaf

это как?

я всегда была уверена, что это самые что ни есть дубли, а теперь смотрю - половина интернет-магазинов, да даже большая часть по-моему, причем проверяла те, которые в выдаче по конкурентным запросам в топах сидят, с такими дублями чудесно живет и в роботсе они allowed и не редиректяться никуда и каноникал у них не прописаны...

если кто-то может мне прям по пунктам ответить, а не в общем и целом - буду безмерно благодарна )))

Да, обычно с этим не заморачиваются :)

В своё время мне тоже было влом ставить 301 редирект с site.ru/folder-name на site.ru/folder-name/

Ну как страницы типа site.ru/folder-name могут проиндексироваться, если их же ссылок на сайте нет. Но прошло с пол годика или год и .. упс! все позиции провалились в тар-тарар, а yandex webmaster показал что всё приндексировалось по 2 раза :(

Теперь я для каждой страницы canonical link делаю, чего и вам советую. А то кто-нибудь "добрый" поставит вам на сайт "хитрую" ссылку, например на форуме и ... упс!

Да, их можно закрыть в роботсе

---------- Добавлено 18.04.2014 в 15:49 ----------

То, что ссылки типа

site.ru/products/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.html?sfasfasfasfaf

открываются - это нормально. Если вас беспокоит, что они будут источником дублей, то сделайте <link rel="canonical" href="...">

А вот то, что ссылки типа

site.ru/products/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.html

site.ru/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.htm

выдают разные страницы - это большой недостаток вашего движка. Это дубли в чистом виде.

Лучше "подкрутить" движок, чтобы он такого не выдавал, но если это слишком трудемко, вариантов несколько:

Это лучше исправлять 301 редиректом. Если кто-то поставил ссылку на неправильный урл (на форуме, в контакте и т.д.) то вес ссылки перейдет на правильный урл и вы сохраните пользователя.

Если вы просто закроете неправильные урлы в robots, то эти страницы "исчезнут" для ПС и вес ссылки потеряется, но вы сохраните пользователя.

Если отдадите 404 то потеряете и вес, и пользователя.

Если вы сделаете canonical link, то сохраните пользователя, а вес ссылки - тут однозначного ответа нет. Есть версия, что он теряется, есть версия что переходит на канонический урл.

спасибо ))) особенно за site.ru/products/mobilnyy-telefon-samsung-gt-s5610-metallic-silver.html?sfasfasfasfaf - это у меня самые большие вопросы вызывало )))