Всегда нужно использовать rel="canonical" ?

Смотря как у вас формируются URL. Если URL содержит параметры, их не очень просто заблокировать от индексации через robots.txt, например:

/?a=b&c=d

/?c=d&a=b

в таком случае использование canonical url целесообразно.

каноникл - это убогий костыль, его использование порождает ещё больше проблем

1. необходимость открывать данные страницы в роботсе

2. достаточно сложные технические серверные решения по простановке каноникл на странице

3. замедление индексации/переиндексации правильных страниц (все квоты бота могут уйти на скачивание мусора с каноникл)

для пагинции отлично подходит

tippula, использовать для пагинации canonical - глупо. По сути единственная задача canonical - это "убивать" все левые GET параметры, типа utm-меток и прочего.

Для борьбы с дублями которые делает CMS использовать canonical тоже глупо, т.к. надо устранять такие дубли физически, чтобы система их не генерила.

Для постраничной навигации надо использовать уникализацию заголовков и мета-тегов, а также rel=next/prev.

каноникл - это хорошее средство в нек случаях, его использование позволяет избежать многих проблем

1. Не необходимости что-то закрывать в роботсе (рекомендуемом, но ничего не закрывающем в реальности)

2. достаточно простые технические решения по простановке каноникл на странице. Во многих движках это встроено или легко дополняется аддонами. В статике тоже не проблема добавить авто заменой теста.

:p

Вот тут согласен. Но это все больше в теории (если, конечно вебмастер не полный идиот, размещающий простыни мусора). На практике даже больше сайты прекрасно индексятся.

ЗЫ. Если говорить в разрезе "каноникал vs роботс для удаления старых урлов", то согласен - в робостсе будет проще сделать. Но если при этом "для указания новой страницы", тогда уже надо будет другими способами показать ПС релевантную страницу. А это уже задачка другого порядка.

это потенциальная уязвимость и я с этим уже сталкивался - нельзя просто обрезать параметры для получения канонического урл, каноникл надо брать только из таблицы, т.е. нельзя просто брать uri и работать с ним как со строкой

это уже практика любого крупного им, они все используют различные цпа системы, которые генерят безумное количество кривых url

и получается что при 15к+ реальных страниц робот сканирует 2600к+ в месяц, нужные страницы не индексируются/переиндексируются, роботс кстати от этой проблемы спасает, а вот каноникл её усугубляет

... переведи :)

брр... Проблема кривых урлов - согласен, имеет место быть. Но даже не в урах дело, а в дублях. Да, согласен и это может быть и бывает не редко как в ИМ, так и нек др структурах. Но причём тут "каноникл её усугубляет"? Как раз наоборот же. С его помощью быстрее индексируются нужные страницы. Меньше мусора будет в выдаче. Снизится нагрузка на индексацию в конце-концов (ПС же выкинет эти урлы. Ну если не на всегда, то хотя бы на время). Или что не так?

Я не говорю, что в случаях подобных выборкам/фильтрам в ИМ, когда урлы отличаются только параметрами не нужно использовать роботс или даже реврайты. Я говорю, что каноникал - не зло и не костыль. И большинстве случаев очень даже полезен. А ты всех под одну гребёнку.. :)

вот есть, например, url

site.ru/cat/produkt - это правильный url

site.ru/cat/produkt?разныйбред - это не канонический и на него ставят каноникл на site.ru/cat/produkt просто обрезали get, (хотя страница с get может быть и канонической, тогда сначала ещё и проверять надо)

а что делать вот с таким url

site.ru/cat/produktразныйбред?разныйбред

каноникл на site.ru/cat/produktразныйбред который отдаёт 404 код ответа или 301-302???

а в кучи цмс ещё есть косяк с папками, когда можно всунуть любой код (и js в том числе после имени домена), главное чтобы путь после него был правильный ;)

нет, наоборот, для того что бы прочитать каноникл страницу необходимо скачать, вот здесь и закончиться квота на данный сайт, находит он эти страницы по внешним ссылкам, а цпа системы их генерируют в безумном количестве

Если на сайте 1000 страниц, а боту подсунули 10 000 сцылок с правильным rel="canonical"

то боту надо скачать 90% левых страниц... а лимит обращения к сайту есть. И самое медленное у бота — HTTP траф.

Так что, пока боту приходится выплёвывать обратно левые страницы, он проиндексит ваших конкурентов, которые не подсовывают боту левых сцылок и вместо rel="canonical" настроили 301.

Если ?разныйбред - это параметры, от которых зависит контент (напр выборка товара) то конечно 200. Но каноникал уже на усмотрение. Равно как и записи в роботсе.

В др случаях - 404 или 301. Какноникл-то тут причём? ПС не получит же эти страницы.

Или же я тебя не понимать. ;)

Насчёт квоты - можно и согласится. В нек случаях.

А вот "ЗА" быстрее: из каноникала ПС узнает о нужнй странице (без него может не узнать ещё очень долго).

---------- Добавлено 16.06.2016 в 17:58 ----------

Тут рассматривает 2 разных случая

1. Когда замена аресов.

2. Когда новый сайт.

Во втором случае - совершенно правильно использовать 301. В первом же - каноникал (на первое время, до окончания переиндексации) будет уместнее. Потом уже 301.

Я так думаю (с) ;)