Всегда нужно использовать rel="canonical" ?

ты не понимаешь проблемы, цпа сети пересылают пользователей по уникальным url, в которых зашито куча параметров самой сети, т.е. на один канонический url получается сотни, а то тысячи с ненужными параметрами и все робот будет скачивать, а если страница сама по себе имеет параметры (для вывода товара, что очень часто встречается), то как ставить каноникл?

надо проводить серверную обработку, а это затратное занятие

P.S. я вообще за то что бы в роботсе было прописано Disallow: /*?

Ну вот и пытаюсь же понять.

Ну хорошо, давай возьмём этот частный случай. 301 тут не используем (раз речь о каноникале).

И что, при таких урлах робот не будет жрать страницы? Где профит?

Я как раз вижу профит в каноникале. ПС или такие уры может выкинуть(при каноникале на базовый урл) или же, если эти страницы реально нужные в выдаче (урлы от цпа с мусором -не этот случай) - канонизировать их. Иногда последнее тоже нужно.

Ну в целом это воще не проблема. 'PHP_SELF/QUERY_STRING' :)

проблема в QUERY_STRING могут быть лишние параметры, как их отделить без дополнительной обработки?

я об этом и пишу - робота на них не нужно пускать, запретить полностью крол в роботсе для подобных страниц

мусорные url появляются с гораздо большей скоростью чем их сканирует робот!!!!

а заодно учти, что если новый url найден по внешнёй ссылки, то робот будет на него постоянно ломиться, пока ссылка стоит, то постоянно, после её удаления с достаточно большим промежутком, но будет!!!

и только запрет в роботсе может спасти от постоянного обращения к мусорным страницам

Конечно, если по урлу с мусором отдаётся 200, то надо с ним решать. Я об этом и говорил выше.

Вот только каноникал к этому... Если есть мусор - каноникал как раз должен указывать на не мусорную страницу.

Или же сервером/движком обрабатывать эти мусорные параметры. (это не всегда сложно, но всё же..)

Выходит что? От каноникала опять профит?

Отсутствие каноникала на странице как этому способствует/поможет? ;)

А вот присутствие как раз таки может и помочь. В след. раз(ы) робот просто будет знать, что по этому мусорному урлу ему делать нечего - канонический урл же получен ранее.

В роботсе поможет только не появится в выдаче (и то не всегда), а ботам до фени эти роботсы :)

например на авито используют canonical, глупые ли ребята там работают 😕

да и вообще от мусора только редиректы спасут, а каноникал как доп страховка если вдруг что левое пролезло

ещё раз, технически в подавляющем большинстве случаев это сделать нереально, я говорю про большие им, а не статичные сайты

нет только очень большие проблемы с его корректной простановкой

если страница закрыта в роботсе каноникл просто не нужен ;)

а вот это как раз заблуждение, роботу до этого нет ни какого дела :(

роботы разные, я говорю про индексатора, он всегда сначала запрашивает роботс

Да легко ж! PHP_SELF (ну или что нужно). Без QUERY_STRING (если оно не нужно).

Да! Но ёёё!

Ты мешаешь мух с котлетами. дисалов в роботсе и каноникал в хедере - разные по несущим функциям.

burunduk, ты вот всё время упираешь на роботс. Да никто не спорит, что роботс полезен. Но это НИКАК не говорит о том, то каноникал - костыль.

И нет особых проблем в его простановке. Вот хоть убей, не понимаю, почему он вызывает у тебя такой ужас.

Каноникал — костыль.

Он вызывает не ужас, а затык в HTTP-трафике бота.

Или сделайте два почти одинаковых сайта на 1000 страниц.

В одном из них 15?дублей с каноникалами.

И сравните время индексации. У того, который с дублями, количество страниц в индексе будет стремиться к 1000, но долго.

Да ёмоё ж.. Не понимать я, причём тут каноникал, какой откуда затык? Пс пойдёт по внешним кривым урлам ВНЕ зависимости от наличия на странице каноникала. Первый раз пойдёт. А вот остальные (в ближайшее время во всяком случае. А это может быть и месяцы) - уже не факт. Что наоборот, облегчит нагрузку на сайт.

Что не так-то?

Опять мухи в котлетах. :(:

Ида, без каноникала - что, ускориться индексация 1000+15 страниц?

Напишите любой скрипт, который чего-то скачивает по HTTP, обычно он работает медленно.

Не надо создавать этой возможности. Лучше чтобы не ходила.

Если есть возможность (в robots.txt) запретить ПС скачивать, это лучше, чем сначала ПС скачает, а потом убедится... а ещё и не факт, что оставит в индексе именно то, чего надо.