Откуда берутся дубли страниц?

V
На сайте с 19.01.2016
Offline
86
877

Уважаемые гуру,

подскажите, в чем может быть причина следующего явления:

на сайте одновременно существуют одинаковые страницы, адреса различаются только слешем на конце (т.е. на одной странице он есть, на другой, идентичной, его нет). Обратили внимание на них случайно, протестив сайт сервисом seoto.me, поэтому когда они появились - непонятно. Однако, сервис нарыл на сайте около сотни таких дублей. 301 редиректа между ними нет - страницы грузятся с обоими адресами независимо друг от друга.

Одновременно обнаружились дубли другого вида, "хвост" дублирующей страницы выглядит так: /requestParams/page/2, но на самом деле никакой второй страница там нет, на обеих одинаковый контент.

Ну и сразу второй вопрос, что с ними делать-то? Если просто поставить редиректы - это приемлемо?

Leginnn
На сайте с 29.01.2010
Offline
64
#1

Тут всего один ответ - причина таких страниц на сайте это движок. То есть ни бот, ни ПС увидеть таких страниц не могут при обходе, если нет ссылок на такие страницы.

Как выловить багу - парсите сайт софтом и смотрите на каких страницах встречается неправильная ссылка. Потом открываете ссылающуюся страницу в браузере, отображаете ее html-код и ищите на странице где стоят эти битые ссылки.

А дальше просто правите код движка, который генерирует этот хлам.

Вообще дубли на 1 сайте уже давно не страшны, поисковые машины сами научились с ними бороться, так как большинство движков формирует кучу ненужных страниц на сайте (теги, страницы авторов и т.п.), из дублей выбирается одна самая релевантная, а остальные просто исключаются из показов, но периодически индексируются на предмет изменения.

Нет, оно конечно "не камильфо", но и страшных санкций вы не получите.

Пишу сложные технические тексты (/ru/forum/928966)
Zegeberg
На сайте с 30.09.2010
Offline
282
#2

Установите причину дублей и - или правьте движок, или закройте их в роботс и забудьте.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Антибот ( https://antibot.cloud/?ref=15262 )
donc
На сайте с 16.01.2007
Offline
665
#3
vreditel:
Если просто поставить редиректы - это приемлемо?

Нет. Поломаете ЦМС. А вот каноникал запилить не мешало б.

Без знания движка советовать как- трудно, но в большинстве есть поле кейвордс - его можно и заюзать, прилепив костыль к шаблону (и несложный скрипт - или - просто руками писать адрес страницы)

Если интересно как - спросите тут.

PS у вас вроде форум - терзайте разрабов

---------- Добавлено 02.04.2016 в 00:38 ----------

Zegeberg:
или закройте их в роботс и забудьте.

Это не лучшее решение)

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
богоносец
На сайте с 30.01.2007
Offline
754
#4
vreditel:
в чем может быть причина следующего явления:
на самом деле никакой второй страница там нет, на обеих одинаковый контент.

Контент доступен для бота по разным урлам (это и причина, и признак дублей).

А с т.з. людей на это смотреть не надо.

Создатели движков не думают о проблеме (надо бы ответить не 200).

А создателям ПС приходится экномить свои ресурсы == убивать чьи-то дубли.

Leginnn:
поисковые машины сами научились с ними бороться, так как большинство движков формирует кучу ненужных страниц на сайте (теги, страницы авторов и т.п.), из дублей выбирается одна самая релевантная

Но иногда она оказывается не той, что нужна.

V
На сайте с 19.01.2016
Offline
86
#5
donc:

PS у вас вроде форум - терзайте разрабов

Не, у нас корпоративный сайт. Он старый, 2009 года. Понятно, что там за это время куча народу руки приложила. Разработчики на это и валят, типа, давайте мы вам восстановим оригинальные файлы. Но там столько денег, времени и усилий вложено в изменения, что это вообще не вариант.

Сайт на php. Переделывать его на новой платформе пока тоже не вариант, надо как-то исправить этот (((

Z
На сайте с 05.07.2015
Offline
55
#6

Если это Joomla, то причина дублей естественна, несмотря на удобство движка, дубли появляются постоянно. Впрочем бороться с ними это минута дела.

Закрываете в роботсе, по признакам и всё.

Только целевой трафик на сайт белыми методами https://searchengines.guru/ru/forum/933996/ Мой телеграм ( https://t.me/zibadaks )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий