Как правильнее избавиться от дублей страниц

1 234
Антоний Казанский
На сайте с 12.04.2007
Offline
782
#31
Александр Воробьев :
Итак ситуация: Яша сообщает о наличии дублей страниц. Например  mysite.com и mysite.com/?     т.е. знак вопроса  - без параметров (откуда он вылезает, на нескольких проектах попросили разобраться, достоверно не знаю).

Если есть внешние обращения по указанные адресам, то в случае привязанной Метрики она будут передавать данные адреса для индексации.

Робот приходит по данным адресам, получает 200-е ответы от сервера и индексирует полученные документы (очевидно это будут дубли). Потом в большинстве случаев как дубли выбрасывает.


Александр Воробьев :
1. Добавлять тег cannonical.   как я понимаю, он решает проблему но не полностью: этот грязный урл можно сохранить в закладки, зашарить в соцсетях. А так же, если я правильно понимаю,  в метрике в статистике все равно это как отдельный URL

Корректный canonical в любом случае лучше выводить в мета информации, но это лишь рекомендация для Яндекса это не является руководствующим решением (Яндекс может занести в индекс страницу и вопреки данным canonical).

В этом случае для подобных адресов (и остальных с get параметрами) выводить:

<meta name="robots" content="follow, noindex" />

и дублируются страницы с адресацией ../*?* не будут индексироваться.

А отдельные get парамеtтры потом описать в robots.txt директивой Clean-param. Тогда Яндекс и не будет ходить по ненужным адресам.


Александр Воробьев :
2. robots.txt - так же избранное и ссылки. Как в этом случае с точки зрения метрики это в итоге выглядит,  там только в индекс не включит, но увидит как отдельную страницу?

Нередко адреса вида /*?* запрещают в robots.txt, выше вам об этом уже подсказали.


Александр Воробьев :
3. Настроить редирект 301.   

Не надо.

Все рабочие адреса с get параметрами, в частности utm метки, сортировки по признакам внутри сайта, которые используются адресацию с get параметрами должны корректно работать.


big boy #:
С точки зрения Chief Executive Officer лучше заниматься стратегическим развитием компании, управлением ресурсами и финансовыми показателями.

Cовершенно верное и уместное замечание.


Махмуд Аббас #:
Выпендрился, смотрите-ка на него.

А вот это систематическое хамство и повторяющиеся провокации от данного пользователя надо жестко пресекать.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Антоний Казанский
На сайте с 12.04.2007
Offline
782
#32
Александр Воробьев #:
В том то и дело, что параметров нет. Речь об этом случае: когда только знак вопроса  и все....

Нужно учитывать, что для в рекламных кампаний могут использоваться UTM метки, которые и состоят из GET параметров.

Подобные адреса должны работать без осложнений и не пересекаться с правилами редиректов.

Опять же выше резонно указали - случаев когда в адресах может появляться ?=что_угодно_  - может быть бесконечное множество. Вы будете вылавливать эти адреса и составлять новые правила редиректов? Это будет утомительный бесконечный процесс.

Проще и правильнее сообщить ПС не индексировать подобные адреса. И вопрос снимается.


Александр Воробьев #:

Есть второй сайт мегаппопулярный ресурс. На этом сайте некто Вася размещает ссылку на обсуждаемый сайт и по доброте или умышленно забывает "?" . Получается site1.com/?   . По этой ссылке пошел толпами народ.

Метрика ведь заметит эту ссылку?

Да.


Александр Воробьев #:
Метрика будет считать дублем для реально существующей главной страницы "обсуждаемого сайта"?

Метрика не определяет дубли, дубли фиксируют поисковые анализаторы, а информация по дублям и по обходам поискового робота выводится в Я.Вебмастере.

S3
На сайте с 29.03.2012
Offline
363
#33
Александр Воробьев #:
Да даже из логики: нафига поднимать ядро, какое бы шустрое оно ни было, пробегаться по все правилам роутов? 

Потому что сегодня ты ловишь одно, завтра вылезет еще что-то опять будешь правит нжинксы, роботсы?
Правильные роуты это фиксят и никак тут РПС не помешает

Vladimir
На сайте с 07.06.2004
Offline
610
#34
Sly32 #:
Потому что сегодня ты ловишь одно, завтра вылезет еще что-то опять будешь правит нжинксы, роботсы?
сразу закрыть все религия не позволяет?)
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Александр Воробьев
На сайте с 03.02.2020
Online
52
#35
Sly32 #:
Потому что сегодня ты ловишь одно, завтра вылезет еще что-то опять будешь правит нжинксы, роботсы?
Правильные роуты это фиксят и никак тут РПС не помешает

Все по ситуации. В данном случае вполне конкретный случай.

RPS им не помешает, а вот наоборот вполне себе может. (хотя конечно всегда можно взять и еще один сервер воткнуть :) )  Понятно что если рассматривать отдельно - тут время ответа "ни о чем". Естественно я не сторонник захламлять конфиг nginx и апача. Но и все в код тащить не вижу смысла.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий