Индексирование страниц в Яндексе

подобные страницы можно расценивать как страница с результатами поиска.. и Янд с некоторых пор не считает это нарушением .. индексацию страниц с результатами поиска... 

если вы боитесь конкуренции между страницами.. то лучше полностью в disallow посылать такие страницы... с сортировками... 

потому что если использовать Clean-param: ... то страницы все равно будут проиндексированы.. и многие возможно из таких страниц будут помечены МПК... 

на Озоне и других маркетплейсах посмотрите файл robots.txt... он скачиваемый для всех... как они поступают с сортировочными страницами... 

1) Индексироваться должны только целевые (посадочные) страницы. Их необходимо реализовывать на стадии проектирования структуры, описывать, и в дальнейшем оформлять соответствующие ТЗ, чтобы программист не сделал их через get параметры.

Это задачу выполняет SEO специалист.

2) Нецелевые (просто служебные) страницы сортировок (например уменьшение/увеличение по цене) и прочее - оформлять через clean-param и/или через соответствующий новый раздел Яндекса для указания get параметров, чтобы они не учитывались и не плодили дубли.

Это, кстати, интересный дискуссионный вопрос. Раньше, по старинке, всякий get-мусор, генеренку фильтров и проч. перекрывали тупо в robots через Disallow.

Потом получил развитие инструмент Clean Param (в Яндексе).

Какого-то разительного отличия, честно говоря, я не заметил при использовании этих инструментов. Однако в теории это выглядит так:

Disallow — понимает и Яндекс, и Google. Страница перекрывается от индексации, экономится краулинговый бюджет ПС. Однако нет склейки и передачи так называемого "веса" основной странице (категории, подкатегории, товара etc).

Clean Param — понимает только Яндекс. Страница перекрывается от индексации + склеивается с основной категорией и передает ей "вес".

rel="canonical" — понимает и Яндекс, и Гугл. Склеивает с основным урлом, перекрывает от индексации.

Тег "noindex" — понимает и Яндекс, и Google. Вес не передает, по сути аналог Disallow в robots.

Соответственно, сейчас скорее всего лучше проставить Clean-param + canonical, чтобы удовлетворить и Яндекс, и Google. Но тут нужны настройки на программном уровне, для каждой категории нужно указывать свои урлы для тега rel="canonical". Если на это нет бюджетов или технической возможности, то ставим старый дешевый Disallow в robots. )

Хорошо, давай еще раз проговорим эту тему (обсуждения которой уже были и не раз) 😉

Да, но решение неполное, потому что инструкции robots могут поисковиком игнорироваться.

Нецелевые страницы, образованные фильтрами сортировок и пользовательского фильтра лучше по умолчанию выводить в noindex, nofollow. 

Смотри, Макс, ключевой момент какой, он важный.

Clean-param заранее указывает Яндексу правила обработки URL-ов. Т.е. при правильной настройке get параметра clean-param Яндекс изначально его отсечет и сформирует запрос к документу без get параметра (т.е. как правило к каноническому адресу).

Когда же мы настраиваем noindex, nofollow, поисковику нужно сначала документ скачать, а потом уже обнаружить в нём соответствующую настройку в мета теге. Есть есть вариант сообщать noindex, nofollow в коде ответа севера и тогда, если запрещено следование и индексация, ПС не будет скачивать документ.

Следовательно, clean-param эффективно использовать, чтобы Яндекс не тратил поисковую квоту на обход адресов с ненужными для индексации get параметрами - фильтрами, сортировками и рекламными utm метками.

Canonical лучше использовать всегда для канонических индексируемых страниц. Clean-param м сейчас тоже лучше использовать, потому что без него Яндекс будет ходить и анализировать страницы с get параметрами.

Noindex, nofollow, и опционально инструкции в robots.txt тоже имеют место быть.

Вы уже согласились года 4 назад, что ни Canonical, ни Clean-param не запрещают не только ходить и анализировать, но и индексировать страницы выкидывая из индекса нужные страницы.

Естественно Яндекс как и сейчас ИИ - извиниться за ошибку и будет ее исправлять. Вопрос только во времени.

PS И все равно тащите на форум теорию из Яндекса? 

Владимир, меня не занимает разбор чужих интерпретаций, фантазий, заблуждения и частные эпизоды, где кто-то что-то прочитал на форуме, увидел за окном, подслушал на лестничной площадке и т.д. 

Да, я говорил, что тег canonical не более, чем рекомендательный и это действительно так. Сlean-param имеет другую механику работы, выше она описана, повторяться не буду.

Запись canoniсal определяет канонический адрес для документа (страницы), инструкции clean-param позволяют выполнять групповую обработку данных с get параметрами (т.е. для множества адресов). Это важно понимать. 

Я вам уже говорил, когда вы пишите свои умозаключения, не надо вписывать меня в свои персональные, сложноподчинённые выводы и эмоционально-окрашенные причинно-следственные связи. Пишите по делу - по данному вопросу [то-то], [то-то], в соответствии с [тем-то] и [тем-то].

4-е года или 20-лет - это в данном случае не вносит никакой полезности для ТС.

Поэтому. И canonical,  и инструкция clean-param существуют и активно применяются гораздо более 4-х лет, поэтому в данный момент актуально то, что я написал и подрезюмировал выше.

Нет никакой теории Яндекса, запомните пожалуйста, это сугубо ваше изобретение.

Есть рекомендации поисковых систем, и в SEO практике они полностью или частично согласованно используются для эффективного достижения поставленных рабочих целей.

Не надо в каждом форумном комментарии в мой адрес пытаться спровоцировать меня на словесную перепалку.

Поберегите свои нервы и моё время. 

Если что-то не поняли, просто уважительно спросите. Если с чем-то не согласны, просто сухо и детализировано напишите своё мнение. Я естественно не против, что оно тоже будет в рабочих ветках. Это будет лучше для всех.