burunduk: проблема в QUERY_STRING могут быть лишние параметры, как их отделить без дополнительной обработки?
Конечно, если по урлу с мусором отдаётся 200, то надо с ним решать. Я об этом и говорил выше.
Вот только каноникал к этому... Если есть мусор - каноникал как раз должен указывать на не мусорную страницу.
Или же сервером/движком обрабатывать эти мусорные параметры. (это не всегда сложно, но всё же..)
Выходит что? От каноникала опять профит?
burunduk: робота на них не нужно пускать, запретить полностью крол в роботсе для подобных страниц
Отсутствие каноникала на странице как этому способствует/поможет? ;)
А вот присутствие как раз таки может и помочь. В след. раз(ы) робот просто будет знать, что по этому мусорному урлу ему делать нечего - канонический урл же получен ранее.
burunduk: и только запрет в роботсе может спасти от постоянного обращения к мусорным страницам
В роботсе поможет только не появится в выдаче (и то не всегда), а ботам до фени эти роботсы :)
burunduk: цпа сети пересылают пользователей по уникальным url, в которых зашито куча параметров самой сети, т.е. на один канонический url получается сотни, а то тысячи с ненужными параметрами и все робот будет скачивать, а если страница сама по себе имеет параметры (для вывода товара, что очень часто встречается), то как ставить каноникл? надо проводить серверную обработку, а это затратное занятие
Ну хорошо, давай возьмём этот частный случай. 301 тут не используем (раз речь о каноникале).
И что, при таких урлах робот не будет жрать страницы? Где профит?
Я как раз вижу профит в каноникале. ПС или такие уры может выкинуть(при каноникале на базовый урл) или же, если эти страницы реально нужные в выдаче (урлы от цпа с мусором -не этот случай) - канонизировать их. Иногда последнее тоже нужно.
burunduk: то как ставить каноникл?
Ну в целом это воще не проблема. 'PHP_SELF/QUERY_STRING' :)
burunduk: а что делать вот с таким url site.ru/cat/produktразныйбред?разныйбред каноникл на site.ru/cat/produktразныйбред который отдаёт 404 код ответа или 301-302???
Если ?разныйбред - это параметры, от которых зависит контент (напр выборка товара) то конечно 200. Но каноникал уже на усмотрение. Равно как и записи в роботсе.
В др случаях - 404 или 301. Какноникл-то тут причём? ПС не получит же эти страницы.
Или же я тебя не понимать. ;)
burunduk: нет, наоборот, для того что бы прочитать каноникл страницу необходимо скачать, вот здесь и закончиться квота на данный сайт, находит он эти страницы по внешним ссылкам, а цпа системы их генерируют в безумном количестве
Насчёт квоты - можно и согласится. В нек случаях.
А вот "ЗА" быстрее: из каноникала ПС узнает о нужнй странице (без него может не узнать ещё очень долго).
---------- Добавлено 16.06.2016 в 17:58 ----------
богоносец: Если на сайте 1000 страниц, а боту подсунули 10 000 сцылок с правильным rel="canonical" то боту надо скачать 90% левых страниц... а лимит обращения к сайту есть. И самое медленное у бота — HTTP траф.
Так что, пока боту приходится выплёвывать обратно левые страницы, он проиндексит ваших конкурентов, которые не подсовывают боту левых сцылок и вместо rel="canonical" настроили 301.
Тут рассматривает 2 разных случая
1. Когда замена аресов.
2. Когда новый сайт.
Во втором случае - совершенно правильно использовать 301. В первом же - каноникал (на первое время, до окончания переиндексации) будет уместнее. Потом уже 301.
это потенциальная уязвимость и я с этим уже сталкивался - нельзя просто обрезать параметры для получения канонического урл, каноникл надо брать только из таблицы, т.е. нельзя просто брать uri и работать с ним как со строкой
... переведи :)
burunduk: это уже практика любого крупного им, они все используют различные цпа системы, которые генерят безумное количество кривых url и получается что при 15к+ реальных страниц робот сканирует 2600к+ в месяц, нужные страницы не индексируются/переиндексируются, роботс кстати от этой проблемы спасает, а вот каноникл её усугубляет
брр... Проблема кривых урлов - согласен, имеет место быть. Но даже не в урах дело, а в дублях. Да, согласен и это может быть и бывает не редко как в ИМ, так и нек др структурах. Но причём тут "каноникл её усугубляет"? Как раз наоборот же. С его помощью быстрее индексируются нужные страницы. Меньше мусора будет в выдаче. Снизится нагрузка на индексацию в конце-концов (ПС же выкинет эти урлы. Ну если не на всегда, то хотя бы на время). Или что не так?
Я не говорю, что в случаях подобных выборкам/фильтрам в ИМ, когда урлы отличаются только параметрами не нужно использовать роботс или даже реврайты. Я говорю, что каноникал - не зло и не костыль. И большинстве случаев очень даже полезен. А ты всех под одну гребёнку.. :)
burunduk: каноникл - это убогий костыль, его использование порождает ещё больше проблем 1. необходимость открывать данные страницы в роботсе 2. достаточно сложные технические серверные решения по простановке каноникл на странице
каноникл - это хорошее средство в нек случаях, его использование позволяет избежать многих проблем
1. Не необходимости что-то закрывать в роботсе (рекомендуемом, но ничего не закрывающем в реальности)
2. достаточно простые технические решения по простановке каноникл на странице. Во многих движках это встроено или легко дополняется аддонами. В статике тоже не проблема добавить авто заменой теста.
:p
burunduk:
3. замедление индексации/переиндексации правильных страниц (все квоты бота могут уйти на скачивание мусора с каноникл)
Вот тут согласен. Но это все больше в теории (если, конечно вебмастер не полный идиот, размещающий простыни мусора). На практике даже больше сайты прекрасно индексятся.
ЗЫ. Если говорить в разрезе "каноникал vs роботс для удаления старых урлов", то согласен - в робостсе будет проще сделать. Но если при этом "для указания новой страницы", тогда уже надо будет другими способами показать ПС релевантную страницу. А это уже задачка другого порядка.
pspman43: то лучше выбрать - 301 редирект или каноникал?
ИМХО в данном случае вначале каноникал, а после выпадения страницы из индекса - 301.
pspman43:
301 редирект - как я понимаю, для поисковой системы
Нет. 301 - это ответ сервера. Говорит о том, что страны на этом месте больше нет. Она переехала на ПМЖ
Да. ПСы понимают этот ответ и делают соответствующие выводы. А именно - удаление её из своих баз. (индексирование и ранжирование новой страницы - отдельная история)
melkozaur: На маркете я почти не бываю. Убогий сервис. .. Маркет прямо-таки до смешного наполнен полулегальными конторами, которые создают по 10, 20 "интернет-магазинов" с заниженными ценами. .. А Маркет тут ни при чем, они же только разместили объяву.
Ты смешал в кучу автобусы с пирожками в водительском тормозке.
но качество этого функционала не всегда оправдывает мои ожидания.
Функционал-то тут причём? Научись отделять мух от котлет, возможности от наличия контента, краудмаркетолог-самоучка :)
проблема в QUERY_STRING могут быть лишние параметры, как их отделить без дополнительной обработки?
Конечно, если по урлу с мусором отдаётся 200, то надо с ним решать. Я об этом и говорил выше.
Вот только каноникал к этому... Если есть мусор - каноникал как раз должен указывать на не мусорную страницу.
Или же сервером/движком обрабатывать эти мусорные параметры. (это не всегда сложно, но всё же..)
Выходит что? От каноникала опять профит?
робота на них не нужно пускать, запретить полностью крол в роботсе для подобных страниц
Отсутствие каноникала на странице как этому способствует/поможет? ;)
А вот присутствие как раз таки может и помочь. В след. раз(ы) робот просто будет знать, что по этому мусорному урлу ему делать нечего - канонический урл же получен ранее.
и только запрет в роботсе может спасти от постоянного обращения к мусорным страницам
В роботсе поможет только не появится в выдаче (и то не всегда), а ботам до фени эти роботсы :)
ты не понимаешь проблемы,
Ну вот и пытаюсь же понять.
цпа сети пересылают пользователей по уникальным url, в которых зашито куча параметров самой сети, т.е. на один канонический url получается сотни, а то тысячи с ненужными параметрами и все робот будет скачивать, а если страница сама по себе имеет параметры (для вывода товара, что очень часто встречается), то как ставить каноникл?
надо проводить серверную обработку, а это затратное занятие
Ну хорошо, давай возьмём этот частный случай. 301 тут не используем (раз речь о каноникале).
И что, при таких урлах робот не будет жрать страницы? Где профит?
Я как раз вижу профит в каноникале. ПС или такие уры может выкинуть(при каноникале на базовый урл) или же, если эти страницы реально нужные в выдаче (урлы от цпа с мусором -не этот случай) - канонизировать их. Иногда последнее тоже нужно.
то как ставить каноникл?
Ну в целом это воще не проблема. 'PHP_SELF/QUERY_STRING' :)
а что делать вот с таким url
site.ru/cat/produktразныйбред?разныйбред
каноникл на site.ru/cat/produktразныйбред который отдаёт 404 код ответа или 301-302???
Если ?разныйбред - это параметры, от которых зависит контент (напр выборка товара) то конечно 200. Но каноникал уже на усмотрение. Равно как и записи в роботсе.
В др случаях - 404 или 301. Какноникл-то тут причём? ПС не получит же эти страницы.
Или же я тебя не понимать. ;)
нет, наоборот, для того что бы прочитать каноникл страницу необходимо скачать, вот здесь и закончиться квота на данный сайт, находит он эти страницы по внешним ссылкам, а цпа системы их генерируют в безумном количестве
Насчёт квоты - можно и согласится. В нек случаях.
А вот "ЗА" быстрее: из каноникала ПС узнает о нужнй странице (без него может не узнать ещё очень долго).
---------- Добавлено 16.06.2016 в 17:58 ----------
Если на сайте 1000 страниц, а боту подсунули 10 000 сцылок с правильным rel="canonical"
то боту надо скачать 90% левых страниц... а лимит обращения к сайту есть. И самое медленное у бота — HTTP траф.
Так что, пока боту приходится выплёвывать обратно левые страницы, он проиндексит ваших конкурентов, которые не подсовывают боту левых сцылок и вместо rel="canonical" настроили 301.
Тут рассматривает 2 разных случая
1. Когда замена аресов.
2. Когда новый сайт.
Во втором случае - совершенно правильно использовать 301. В первом же - каноникал (на первое время, до окончания переиндексации) будет уместнее. Потом уже 301.
Я так думаю (с) ;)
Но вот, не пойму зачем сначала делать каноникал, а потом редирект? Чем это лучше?
Я ж всё объяснил сразу. Во второй части поста.
Ок, расжую.
Потому что при получении 301 страница удаляется из индекса ПС, а новая проиндексится "в порядке очереди" :)
это потенциальная уязвимость и я с этим уже сталкивался - нельзя просто обрезать параметры для получения канонического урл, каноникл надо брать только из таблицы, т.е. нельзя просто брать uri и работать с ним как со строкой
... переведи :)
это уже практика любого крупного им, они все используют различные цпа системы, которые генерят безумное количество кривых url
и получается что при 15к+ реальных страниц робот сканирует 2600к+ в месяц, нужные страницы не индексируются/переиндексируются, роботс кстати от этой проблемы спасает, а вот каноникл её усугубляет
брр... Проблема кривых урлов - согласен, имеет место быть. Но даже не в урах дело, а в дублях. Да, согласен и это может быть и бывает не редко как в ИМ, так и нек др структурах. Но причём тут "каноникл её усугубляет"? Как раз наоборот же. С его помощью быстрее индексируются нужные страницы. Меньше мусора будет в выдаче. Снизится нагрузка на индексацию в конце-концов (ПС же выкинет эти урлы. Ну если не на всегда, то хотя бы на время). Или что не так?
Я не говорю, что в случаях подобных выборкам/фильтрам в ИМ, когда урлы отличаются только параметрами не нужно использовать роботс или даже реврайты. Я говорю, что каноникал - не зло и не костыль. И большинстве случаев очень даже полезен. А ты всех под одну гребёнку.. :)
Характеристики товаров ведь тоже часть сервиса.
И этот функционал имеется в сервисе.
каноникл - это убогий костыль, его использование порождает ещё больше проблем
1. необходимость открывать данные страницы в роботсе
2. достаточно сложные технические серверные решения по простановке каноникл на странице
каноникл - это хорошее средство в нек случаях, его использование позволяет избежать многих проблем
1. Не необходимости что-то закрывать в роботсе (рекомендуемом, но ничего не закрывающем в реальности)
2. достаточно простые технические решения по простановке каноникл на странице. Во многих движках это встроено или легко дополняется аддонами. В статике тоже не проблема добавить авто заменой теста.
:p
3. замедление индексации/переиндексации правильных страниц (все квоты бота могут уйти на скачивание мусора с каноникл)
Вот тут согласен. Но это все больше в теории (если, конечно вебмастер не полный идиот, размещающий простыни мусора). На практике даже больше сайты прекрасно индексятся.
ЗЫ. Если говорить в разрезе "каноникал vs роботс для удаления старых урлов", то согласен - в робостсе будет проще сделать. Но если при этом "для указания новой страницы", тогда уже надо будет другими способами показать ПС релевантную страницу. А это уже задачка другого порядка.
то лучше выбрать - 301 редирект или каноникал?
ИМХО в данном случае вначале каноникал, а после выпадения страницы из индекса - 301.
301 редирект - как я понимаю, для поисковой системы
Нет. 301 - это ответ сервера. Говорит о том, что страны на этом месте больше нет. Она переехала на ПМЖ
Да. ПСы понимают этот ответ и делают соответствующие выводы. А именно - удаление её из своих баз. (индексирование и ранжирование новой страницы - отдельная история)
На маркете я почти не бываю. Убогий сервис.
..
Маркет прямо-таки до смешного наполнен полулегальными конторами, которые создают по 10, 20 "интернет-магазинов" с заниженными ценами.
..
А Маркет тут ни при чем, они же только разместили объяву.
Ты смешал в кучу автобусы с пирожками в водительском тормозке.
А ТС ждёт удобного случая посуетить ссылочку.