Правильная пагинация страниц категорий для правильной индексации, и устранения дублей

во!

а для чего его использовать в принципе?

Согласен, боле того гугл и на canonical тоже кладет, осенью на сайте делали канонические страницы, яндекс за месяц выкинул их индекса все не канонические, гугл же и через 3 месяца не выкинул, хотя он их мог и в сопли убрать.

Хотя так же замечал, что гугл как бы не выкидывает не каноническую страницу из индекса, но в выдаче показывает по нему канонический.

Спасибо за 410, как то даже и не задумывался об этом, надо будет попробовать.

ну выборка например, если ее сложно закрыть от индексации, а иногда эти страницы бывают и нужны в индексе.

А вообще многое может зависеть от того как программисты накодировали, покрайне мере у меня одно время эта проблема остро стояла со старыми сайтами, например ссылки на сайте могли быть такие сайт/?ид=12&кат=20 и такие сайт/?кат=20&ид=12 и в индексе могли быть как те, так и другие страницы, закрыть в роботсе, значит потерять часть трафика, были настроены канонические страницы где категория была на первом месте, правда потом не наблюдал на сколько это помогло.

Ну покажите мне не полного программиста, который сделает так, чтобы при всех заданных юзером условиях - порядок сортировки, количество на странице, вид тумба вид таблица вид группа и конечно те самые страницы - листинг оставался бы документом, или хотя бы заведомой частью документа. Может запретить индексацию через скрипт? Но даже робот может понажимать эти ссылки - как и юзер. Опять бежать искать способы ему этого не дать сделать?

Если не покажете могу предложить забрать наезд. То есть я верю что у хозяев схема.орг программисты были не полные, но все-таки для листингов ничего кроме перечисления и не придумали.

Ну то есть покажете как обнять сферического коня в вакууме?

ЗЫ Собственно это в ответ темы. Страницы - один из параметров который делит документ на части, но стоит в ряду других параметров, которые крушат этот документ в песок. Стоит ли вообще париться листингами в индексе?

---------- Добавлено 23.07.2015 в 05:44 ----------

Если вы заметили что фигурируете в выдаче по ссылке на листинг, значит что-то прогнило с продуктовыми страницами. Ну на первую еще нормально, там бывает завлекательный роботов текст, который никто из людей сроду не читает. Со всем остальным - надо разбираться. При условии, конечно, что у вас вообще есть продуктовые страницы. Дополна же сайтов без них.

Кстати, чем не устраивает устройство местной пагинации? И что - это помогает роботам? Типа статья про сферического коня будет на странице 4, да? Ну вы же знаете что не будет. Форумы - неподъемны для индекса. Довольно часто, я бы сказал 50 на 50, находятся через lofi версию. Тогда о чем еще мучиться?

По большому счету только для "отрезания" страниц с левыми GET параметрами, допустим у тебя:

site.ru/news/?PAGEN_2=2

А также есть site.ru/news/?PAGEN_2=2&utm=adwords

Ставишь canonical на site.ru/news/?PAGEN_2=2, если ВНЕЗАПНО на &utm=adwords будут ссылки, то вес перетечет по каноникалу.

ещё раз, что вы хотите увидеть, нормальную листалку?

http://www.unmedia.ru/novosti.html

я бы просто убивал за использование любых get параметров в uri :)

А каким образом в этом случае добавиться полноценной индексации страниц сайта? В вашем случае как я понимаю роботу отдается только последняя новость:

Только карта сайта + ссылка из "последней" новости на "предыдущую"?

Ну те же самые utm метки при работе с контекстной рекламой, хочешь не хочешь, а использовать будешь. Ну а дальше уже какая-нибудь девочка скопирует URL и пульнёт на форум для мамочек.

этого мало? :)

не буду - запретил

Ну это ты запретил, а кто-то возьмет да поставит ссылку, на страницу, которая у тебя 200OK возвращает. Примеров успешной индексации подобной шляпы хватает. Как уже выше писал, canonical помогает защититься от этого.

В случае с новостями - более чем достаточно, минимальный PR на новости и все такое. Но как ты эту схему масштабировать будешь? Это ладно на unmedia.ru всего пара сотен страниц и их можно на одну карту сайта запихнуть. А если у тебя ИМ с десятками тысяч карточек? Да и обделять их PRом тоже не всегда оптимально. Разумнее сделать нормальную пагинацию с уникализацией title и description, текстом только на первой странице, ну и rel=next/prev.

то что 200 возвращает знаю :(, хостер обновил по - ни фига не работает всё что было написано :(

с этим как раз проблем нет - масштабируется легко

Я перестал бодаться с хостерами и цмсками. Тупо в индексном файле прописываю регулярку, которая для "незнакомых" get-запросов отдает 404-ю.