Форум Сайтостроение Веб-строительство

CMS создает дубли страниц

12
[Удален]
1450

Проверил свой сайт одним из автоматических сервисов и этот сервис нашел дубли, которые визуально я не заметил. Эти дубли рождаются постраничной навигацией и имеют такой вид:

www.site.ru/str/

www.site.ru/str/page=1/

Влезть в сам механизм CMS в улучшить его довольно сложно. Но и иметь дубли страниц тоже нехорошо!

Можно ли как-то выйти из этой ситуации?

TS
На сайте с 11.09.2013
Offline
9
TypokSergey
#1

модифицировать htaccess

301 редирект выставить

SD
На сайте с 20.07.2014
Offline
4
SSL-Decision
#2

Если у них стоит canonical url - то думаю никакой беды нет.

big boy
На сайте с 18.11.2006
Offline
355
big boy
#3

В robots.txt дописать строку:

Disallow: */page=*

Что выкинет из индекса все эти страницы.

А если вопрос в том, что нужно сохранить их в индексе, но убрать дубли, то нужно для каждой из страниц page=1, page=2, page=3 ... прописать уникальный статичный текст. ИМХО в таком варианте геморроя гораздо больше и не вижу смысла это делать.

✔ Как я генерирую статьи через ИИ, которые приносят трафик - https://webmasta.ru/blog/16-vkalyvayut-roboty-ne-chelovek-stati-s-pomoschyu-ii-kotorye-prinosyat-trafik
Сервис Page Weight Online Состоялся запуск сервиса Page Google может отдельно оценивать
[Удален]
#4
big boy:
Disallow: */page=*

Спасибо, идея хорошая, да только есть одно "но": запрещенные в robots.txt страницы останутся в sitemap.

Но ведь это тоже плохо?

big boy
На сайте с 18.11.2006
Offline
355
big boy
#5
Beregin:


Спасибо, идея хорошая, да только есть одно "но": запрещенные в robots.txt страницы останутся в sitemap.

Но ведь это тоже плохо?

По сути это будут взаимоисключающие условия, конфликт понятий. По сути сайтмап говорит, что индексировать, а роботс - наоборот запрещает.

Да и вообще я так смотрю - у вас всё неправильно. В сайтмапе должны быть основные страницы сайта, даже можно без категорий. Неудели нельзя сайтмап редактировать? Какая у вас CMS?

---------- Добавлено 28.07.2014 в 15:12 ----------

Если в сайтмапе появятся запрещенные к индексации урлы - в панелях вебмастера будут сообщения об ошибках, что какбэ намекаэ, что так лучше не делать

СайтМап и запрет индексации Разница для пс между google.de поделитесь опытом продвижения
[Удален]
#6
big boy:
В сайтмапе должны быть основные страницы сайта

Вы хотите сказать, что не обязательно включать в сайтемап ВСЕ страницы? Достаточно только основных?

Какая у вас CMS?

НОSТCMS

yet_warm
На сайте с 26.05.2007
Offline
129
yet_warm
#7
Beregin:
Вы хотите сказать, что не обязательно включать в сайтемап ВСЕ страницы? Достаточно только основных?

Большинство CMS позволяют указывать, какие страницы не индексировать.

Многие хотят попасть в рай, мало кто хочет для этого умирать.
S3
На сайте с 29.03.2012
Offline
367
Sly32
#8

Поделитесь сервисом, можно в личку

богоносец
На сайте с 30.01.2007
Offline
774
богоносец
#9
big boy:
А если вопрос в том, что нужно сохранить их в индексе, но убрать дубли, то нужно для каждой из страниц page=1, page=2, page=3 ... прописать уникальный статичный текст.

Или убрать одинаковый текст (от ПС, а не от ползателя). Хватит разного текста ссылок.

/ru/forum/development/web

/ru/forum/development/web

/ru/forum/development/web

ТС не знает, нужны ему в индексе страницы со ссылками на много-страниц или нет.

И ещё он не знает, что ... добавление одной новой ссылки на первой странице меняет содержимое всех страниц *&page=* что заставляет бота их опять переиндексить (а делать это им не очень хочется, поскольку изменения минимальны). Такая структура сцайта не облегчает жизнь поисковиков, значит они могут облегчить её сами, пожертвовав неудобным для себя сцайтом.

Редирект для страниц с Раскрутка идёт, а посетителей Учитывает ли яндекс влияние
[Удален]
#10

богоносец, Вы дали очень интересный пример! Вот смотрите - ситуация такая же, как у меня:

/ru/forum/development/web

/ru/forum/development/web

/ru/forum/development/web

Контент везде одинаковый, а адреса страниц разные!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий