Всегда нужно использовать rel="canonical" ?

Нет.

Неканоническую страницу Гугл может показывать в выдаче, гуглоиды признавались...

Каноникал кажется вебмастерам хорошим костылём-обоснованием плодить лишние урлы... на которые ещё и внешние ссылки могут появиться.

Не надо использовать идеологически вредных решений. HTTP-траф надо минимизировать.

Вот хочется хз какие урлы, делай #якорь #другой и разбирай их JS.

Да они этого вроде и не скрывали. Ломает искать, но по моему об этом даже в их мане бьло написано.

Но опять всё в куче. Мы же вроде говорим нагрузках, о повтором посещении ботами.

Не, ну это уже безусловно, неправильно. Однако

а) для небольших сайтов это не есть проблема

б) для случайных урлов (вручную придуманных, а не генерённых движком) - нормальное решение. (при возникновении проблемы типа целевой атаки на сайт - решать по мере возникновения проблемы)

в) для временной страницы с динамич. содержимым (выборка товаров напр) тоже нормально, когда каноникал будет показывать на дефлтную страницу. Точнее так: в таких случаях лучше иметь каноникал, чем не иметь его вовсе или решать другими путями.

Если все остальные ссылки на сайте реализованы с ЧПУ, то можно.

В Яшке может и спасает, а вот в Гугле нет.

+ на страницу с метками может быть входящая ссылка, через каноникал на основную страницу она будет учитываться, а если в роботс закроешь, то нет.

В этом случае site.ru/cat/produktразныйбред отдает 404 и site.ru/cat/produktразныйбред?разныйбред тоже отдает 404.

Это уже за кривизну сайтов, а не самой идеи каноникала.

Тогда ты не сможешь учитывать данные с utm-меток. Ну или может есть способ настроить редирект со страниц с метками так, чтобы метрика/аналитикс их все равно учитывали? Поделитесь, буду благодарен.

Без доп обработки никак. Но можно просто на сайте не использовать URL с гет-параметрами.

---------- Добавлено 20.06.2016 в 13:29 ----------

И да, если траблы с индексацией в Яше, то можно прописать

User-agent: Yandex

Disallow: /*?

А для гугла использовать каноникал, т.к. если просто закрыть в роботс, то они все равно будут в индексе гугла с пометкой "закрыт в роботс"

я как раз об этом и говорю постоянно - любые гет параметры зло ;)

это практически не реально в большом им, без полной его переделки, а вот этого ни кто не даст делать

и фиг с ней, как показывает практика, лучше бы таких ссылок не было вообще - 100% спам от партнёрок

Лёх, пн - это понедельник, не пятница ж. 😂

Я, блин, чуть пузо не сорвал.

Это зло в любой день.

По умолчанию в большинстве браузеров включены куки...

canonical - непонятно зачем нужная вещь, соглашусь с бурундуком.

Я вот не понимаю - почему бы не ввести подобную функциональность через HTTP-заголовки - ПС сами себе лишнюю нагрузку на серваки создают - ведь чтобы увидеть каноникал на странице нужно скачать ее (а это трафик + пожирание ресурсов серверов), в случае с HTTP-хедерами качать не придется - экономия трафика.

Урлы с utm-метками можно закрыть в роботсе.

utm-метки можно обработать у себя на серваке, но ответить 301 — на страницу, которой надо быть в индексе.

Вебмастеры просто не пытаются смотреть на ситуацию глазами мэтов катсов, у которых уже этих дублей — в несколько раз больше, чем есть в закромах. А это дополнительные расходы на железо... хоть на хранение дублей, хоть на их фильтрацию. Так что они, экономя бабло... зафильтруют и некоторых ваших растрёпанных подопытных. Случайно.

Данный тег обязательно необходимо внедрять на все страницы.

Предположим есть страница

site.ru/page.html

после добавления коммента создается новый документ

site.ru/page.html#comment-2

т.е дубль. и закрыть от индексации через robots.txt довольно проблематично.

Если у вас статические страницы, то их немного и вручную проставить тег не составит труда

Если страницы формируются динамически, то еще проще - 1 -2 строчки кода

изучайте матчасть