Как правильно закрыть от индексации ссылки с метками?

12 3
Megamozg
На сайте с 25.09.2006
Offline
147
7729

Многие наверно сталкивались с ситуацией, когда к урлам страниц сайта добавляются метки для отслеживания рекламных компаний. Страница сайта site.ru/page/ приобретает вид site.ru/page/?utm_source=xxx.

По сути у нас появляется полный дубль страницы, который ко всему прочему имеет внешние ссылки. И дублей таких может быть довольно много. Наверное нет смысла описывать все возможные проблемы, которые при этом могут возникать с индексацией, т.к. их довольно много. Все эти проблемы не критичны, но неприятны и иногда изрядно портят жизнь оптимизатору.

На данный момент я знаю несколько способов борьбы с такими страницами но они к сожалению далеко не идеальны.

Если сделать на сайте ЧПУ, то можно в robots.txt создать правило Dissallow: */?

Это закроет от индексации все страницы с метками.

Но тут у меня есть небольшие сомнения - скорее всего ссылочный вес передаваемый на страницы с метками мы просто потеряем. Хотелось бы услышать другие мнения на этот счет...

К тому же в Яндекс.Вебмастере такие страницы будут присутствовать в числе загруженных станиц (боты будут ходить туда по внешним ссылкам) вызывая разницу в кол-ве загруженных и проиндексированных страниц (а это должно дать вебмастеру повод задуматься) и в числе ошибок (как мы знаем яндекс все еще тупит и показывает в числе ошибок закрытые в robots.txt страницы имеющие внешние ссылки). Ну в общем то есть еще ряд проблем с которыми при таком подходе придется столкнуться, но я не буду вдаваться в подробности.

Другой вариант - использовать директиву Clean-param

Тут мы казалось бы и вес сохраняем и от проблем индексации меток избавляемся. Но не так все просто. Яндекс "склеит" все ссылки с параметрами указанными в этой директиве к одной! и этот один дубль как правило и вылезит вместо главной страницы с ЧПУ в серпе по закону подлости ( ну или по алгоритму яндекса). А закрыв от индексации этот дубль мы приходим к первому варианту :)

И в любом случае у нас остаются косяки в Яндекс.Вебмастере в виде ошибок (закрытые в роботсе страницы с внешними ссылками), разницы в загруженных и проиндексированных станицах. И все равно мы в конце концов теряем вес страниц с метками.

А как вы боретесь с помеченными страницами?

Не надо курить много китайской травы...
[Удален]
#1
Megamozg:
Но тут у меня есть небольшие сомнения - скорее всего ссылочный вес передаваемый на страницы с метками мы просто потеряем.

А что - на такие страницы кто-то ставит ссылки?

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#2

Megamozg, вы хотите закрыть эти URL-ы с метками от индексации, а ссылочное перелить на URL-ы без меток? Тогда поставьте редирект.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
D
На сайте с 27.06.2010
Offline
19
#3
Но не так все просто. Яндекс "склеит" все ссылки с параметрами указанными в этой директиве к одной!

А разве Вам не этого нужно ? если страницы такие дубли, тов чем проблема то ? Без склейки, без дублей, еще и вес не потерять, такого не бывает

Способы интернет-заарботка без вложений (http://www.internet-zarabotok.net/)
iren K
На сайте с 28.12.2008
Offline
222
#4
Megamozg:

А как вы боретесь с помеченными страницами?

RewriteCond %{QUERY_STRING} ^source= RewriteRule (.*) /$1? [R=301,L]
c уважением Iren
Megamozg
На сайте с 25.09.2006
Offline
147
#5
jorevo:
А что - на такие страницы кто-то ставит ссылки?

Да.

Ingref, iren K, вы видимо на практике не сталкивались с такими проблемами. Если бы все решалось редирекром, я бы не писал таких извращений в первом посте. Поверьте, я умею пользоваться редиректом.

danisimo, попробую объяснить подробнее.

Есть много меток для страницы

site.ru/page/?utm_source=1xxx.

site.ru/page/?utm_source=2xxx.

site.ru/page/?utm_source=3xxx.

и т.д.

Дитектива Clean-param "склеит" их к одному урлу site.ru/page/?utm_source=Xxxx.

И вы не можете указать яндексу к какому именно урлу будут приведены все метки. А следовательно нет возможности использовать редирект.

Мне же нужно, чтобы все урлы с метками воспринимались, как site.ru/page/. И при этом не потерять ссылочный вес страниц с метками.

K
На сайте с 31.01.2001
Offline
737
#6
Megamozg:
И при этом не потерять ссылочный вес страниц с метками.

Еще раз. Есть ссылки на такие страницы? Тогда о каком ссылочном весе вы говорите?

Юзайте robots.txt и все будет хорошо.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Оранжевый_бродЯга
На сайте с 30.07.2010
Offline
67
#7

ТС, так вам же iren K очень подробно ответил на ваш вопрос. 301 редирект позволит вам отследить, откуда пришли посетители, и не позволит ПС склеить ваши страницы, потому что вы им (поисковым машинам) говорите, что реальная страница не site.ru/page/?utm_source=1xxx, а site.ru/page. Это действительно самый грамотный и безопасный способ.

Нормально делай - нормально будет.
Megamozg
На сайте с 25.09.2006
Offline
147
#8
Kost:
Еще раз. Есть ссылки на такие страницы? Тогда о каком ссылочном весе вы говорите?

Юзайте robots.txt и все будет хорошо.

В третий раз напишу - ссылки на такие страницы ЕСТЬ! => есть ссылочный вес, который теряется при закрытии таких страниц от индексации.

301 редирект не позволяет отследить источник трафика и делает метки бесполезными. Иначе я просто поставил бы со всех страниц с метками редиректы и не создавал бы этот топик.

Mangusten
На сайте с 24.11.2008
Offline
44
#9

Megamozg,

Disallow: /*_openstat

Disallow: /*from=adwords

Disallow: /*utm_source

На здоровье!

Рекомендации по оптимизации сайта (не путать с продвижением). В личку.
Оранжевый_бродЯга
На сайте с 30.07.2010
Offline
67
#10

301 редирект позволяет отследить, если делать немного хитрее:

RewriteCond %{HTTP_HOST} ^site.ru/page/?utm_source=1xxx

RewriteRule ^site.ru/page.html?#utm_source=1xxx [R=301,L]

Понимаете в чем хитрость теперь?

Для ПС страницы

site.ru/page.html?#utm_source=1xxx

site.ru/page.html?#utm_source=2xxx

site.ru/page.html?#utm_source=3xxx

это одна и таже страница.

Но зато теперь в логах Апача мы видим откуда пришел посетитель.

Примерно так.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий