Дубли страниц с /

E
На сайте с 10.03.2015
Offline
28
549

Добрый день, помогите разобраться

яндекс видит страницы

https://мойсайт/albums/12957

https://мойсайт/albums/12957/

как дубли, и при этом уже принял за дубли уже очень много страниц без слэша и исключил их из выдачи. Как мне это переиграть и пресечь в будущем?

Если добавить в роботс такую строку:

Disallow: /albums/*/

то у всех новых страниц будет правильная индексация (без слеша в поиск, со слешем в игнор), но что будет со старыми исключенными из выдачи страницами без слеша, робот их переобойдет и они снова появятся в выдаче?

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#1
Elparmus:
Если добавить в роботс такую строку:
Disallow: /albums/*/
то у всех новых страниц будет правильная индексация (без слеша в поиск, со слешем в игнор), но что будет со старыми исключенными из выдачи страницами без слеша, робот их переобойдет и они снова появятся в выдаче?

В принципе, да. Но если робот решил удалять из поиска именно урлы без слэша, так может их и запретить? Тогда в роботсе нужно будет прописать:

Disallow: /albums/*

Allow: /albums/*/

Но можно и другими способами решить проблему:

- 301-й редирект

- канонический мета-тег

- выдавать ошибку 404 на страницах со слэшом или без слэша

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
Hammer8
На сайте с 04.08.2011
Offline
178
#2

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_URI} !\..+$

RewriteCond %{REQUEST_URI} !/$

RewriteRule (.*) http://www.site.ru/$1/ [R=301,L]

Указать в файле htaccess, вместо site.ru вписать свой сайт

Полный спектр услуг по продвижению сайтов ()
M
На сайте с 04.12.2013
Offline
223
#3

Elparmus, на такие дубли обычно сразу постоянный редирект вешают и потом больше не вспоминают. Вот из наших движков общего назначения:


<IfModule mod_dir.c>
DirectorySlash Off
</IfModule>

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www\.(.+) [NC]
RewriteRule (.*)/*$ http://%1/$1 [R=301,L]

RewriteRule (.*)/+$ /$1 [R=301,L]
Домены и скрипт для коротких ссылок: https://u75.ru/domains-for-shortcuts
E
На сайте с 10.03.2015
Offline
28
#4
Ingref:
В принципе, да. Но если робот решил удалять из поиска именно урлы без слэша, так может их и запретить? Тогда в роботсе нужно будет прописать:
Disallow: /albums/*
Allow: /albums/*/

Но можно и другими способами решить проблему:
- 301-й редирект
- канонический мета-тег
- выдавать ошибку 404 на страницах со слэшом или без слэша

Робот удаляет и со слешем и без, но чаще со слешем. Добавлю строку с allow, спасибо

---------- Добавлено 28.06.2017 в 15:31 ----------

Hammer8:
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} !\..+$
RewriteCond %{REQUEST_URI} !/$
RewriteRule (.*) http://www.site.ru/$1/ [R=301,L]

Указать в файле htaccess, вместо site.ru вписать свой сайт

Спасибо, отправила это программисту, для меня это пока слишком сложно

---------- Добавлено 28.06.2017 в 15:32 ----------

miketomlin:
Elparmus, на такие дубли обычно сразу постоянный редирект вешают и потом больше не вспоминают. Вот из наших движков общего назначения:

<IfModule mod_dir.c>
DirectorySlash Off
</IfModule>

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www\.(.+) [NC]
RewriteRule (.*)/*$ http://%1/$1 [R=301,L]

RewriteRule (.*)/+$ /$1 [R=301,L]

Спасибо, отправила это программисту, для меня это пока слишком сложно

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий