Появились дубли страниц. Что делать?

A8
На сайте с 17.10.2017
Offline
0
1252

После прикрутки скрипта корзины к сайту у всех страниц появились дубли

было: site.ru/123.php

стало: site.ru/123.php + дубль: site.ru/123.php?_escaped_fragment_=

webmaster стал выдавать следующее: Страница дублирует уже представленную в поиске страницу site.ru/123.php. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

В данный момент webmaster в разделе "Индексирование / Страниц в поиске" показывает: 67 Редиректов и 242 Дубля

для простого решения решил в .htaccess внести уточнения для отсеивания страниц с фрагментом ?_escaped_fragment_= в виде 301 редиректа, чтобы не прописывать в роботе редиректы для каждой страницы по отдельности.

В результате получилось следующее:

RewriteCond %{QUERY_STRING} ^(.*)_escaped_fragment_=(.*)$ [NC]

RewriteRule ^(.*)$ /$1?%1%2 [R=301,L]

По истечению длительно времени в поиске остались нужные страницы, но проблема с дублями осталась... Т.е. редирект работает, но дубли оказывают негативное влияние на ранжирование сайта...

Подскажите сделано не так? Буду признателен за дельный совет...

SJ
На сайте с 09.10.2017
Offline
30
#1
arnold888:

По истечению длительно времени в поиске остались нужные страницы, но проблема с дублями осталась... Т.е. редирект работает, но дубли оказывают негативное влияние на ранжирование сайта...

Подскажите сделано не так? Буду признателен за дельный совет...

Если в поиске остались нужные страницы и редирект работает - (те по факту сейчас на сайте есть ссылки на дублирующиеся страницы, с которых идет редирект и они не участвуют в поиске) то влияние данных дублей минимально.

Может если сайт небольшой и плохо индексируется, то как одна из причин - количество ненужных для индексации ссылок, по которым ходит робот и основные страницы недополучают, так сказать, внимания поискового робота.

Как определил что дубли в твоем случае оказывают негативное влияние на ранжирование сайта?

В теории конечно это так, но в каждом конкретном случае влияние дублей на ранжирование может быть очень разное.

Главное, чтобы у тебя дублирующие страницы не висели в индексе поисковых систем, так как если они там сейчас висят, то на ранжирование это естественно может влиять.

Можешь сейчас еще закрыть в robots.txt по общему признаку url эти страницы, чтобы они не индексировались поисковыми системами.

Идеально будет, если ты устранишь причину появления этих дублей.

Если причину устранить нельзя (например ссылка, которая создает дубль является частью функционала скрипта корзины), то нужно будет каким либо образом подменять ссылку (с помощью js) чтобы поисковые системы не видели ее в исходном коде сайта

[Удален]
#2

Это решается или через clean-param в robots, или принудительной отдачей каноникала на каждой странице (на себя саму без всяких ескапедов).

Никаких закрытий в роботсах, редиректов и прочей порнухи делать не надо.

Т
На сайте с 01.11.2016
Offline
25
#3

Запретите индексацию в robots.txt или используйте cannonical.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий