Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос про зеркала и дублирующийся контент.

A
На сайте с 15.10.2011
Offline
61
andrewthomson
400

Вопрос про зеркала.

И так, есть сайт. Проверил на яндексе, какое главное зеркало он выбрал. Вбил в яндекс ключевой запрос, нашёл свой сайт, он был с www.site.ru. Так же в панели веб мастеров, посмотрел какой сайт считается главным зеркалом.

Правильно ли, что директива host в файле robots.txt будет имеет такой вид(на данный момент её вообще нет):

Host: www.site.ru ?

Как сказать гуглу что, сайт www.site.ru является главным зеркалом сайта site.ru ?

Ввёл в гугл тот же самый ключевой запрос, и он так же выдал мой сайт с www. Значит ли это, что гугл считает домен с www главным зеркалом?

Вопрос про дублирующийся контент.

И так, контент дублируется во многих местах:

www.site.ru

www.site.ru/ru

www.site.ru/en

site.ru

site.ru/ru

site.ru/en

По всем этим адресам показывается один и тоже контент.

Так же например по одному ключевому запросу гугл и яндекс считают разные релевантные страницы, яндекс что www.site.ru/kluchevoi_zapros, а гугл www.site.ru/ru/kluchevoi_zapros.

Как вообще избавиться от дублирующегося контента? И как это повлияет на результат выдачи, и как быстро вернуться позиции на своё место? Движок DLE.

И ещё может ли директива Sitemap в robots.txt быть вида:

Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml, а результатом этого запроса будет построена html документ, который содержит в себе ссылки на страницы вида www.site.ru/ru/kluchevoe_slovo

Что бы я хотел сам:

1. указать точно гуглу и яндексу какой сайт является главным зеркалом

2. избавиться от адресов вида www.site.ru/ru/kluchevoi_zapros , а чтобы было www.site.ru/kluchevoi_zapros Сайт всё равно на одном языке - русском.

3. И конечно же с наименьшими потерями посетителей сайта. А то на данный момент получается полная белиберда. :confused:

A
На сайте с 15.10.2011
Offline
61
andrewthomson
#1

Почему молчание, или как то не так я выразился.

RibkisMukoi
На сайте с 05.05.2010
Offline
151
RibkisMukoi
#2

С дле не знаком - он мну не нравиться, но это дело вкуса (:

а вообще для решения подобной траблы я бы дописал в robots.txt следующее:

User-agent: *

Disallow: /ru/

Disallow: /en/

Host: www.site.ru

User-agent: Yandex

Disallow: /ru/

Disallow: /en/

Host: www.site.ru

Вывод из под фильтров ПС. Аудит сайтов ( http://igorshevchenko.su/audit-saita.html ). Контекст. Оптимизация. Продвижение сайтов ( http://igorshevchenko.su ). Консультации по SEO ( http://igorshevchenko.su/seo-prodvizhenie.html ), и другие услуги интернет-маркетинга ( /ru/forum/977889 ).
A
На сайте с 15.10.2011
Offline
61
andrewthomson
#3

Я как понимаю нужно настроить директиву mod_rewite

Для начала надо сделать редирект site.ru на www.site.ru

Далее со страниц которые заканчиваются на "/" на страницы без "/". В индексе поисковика нет страниц которые заканчиваются на "/", но просто хочется чтобы, таких страниц и не появилось в индексе. Заметил это вообще случайно.

Со страниц вида site.ru/en на www.site.ru

Со страниц вида site.ru/ru на www.site.ru

Ну и соответственно должно получаться, что со страниц site.ru/en/kluchevoe_slovo редирект на www.site.ru/kluchevoe_slovo

И чтобы в итоге получалось так же, что если зайти на страницу site.ru/ru/kluchevoe_slovo пользователь попадал на www.site.ru/kluchevoe_slovo

Правильно ли понимаю, что для поисковика получится следующая картина, у него в индексе будут эти страницы, и с ru и c en и с них будет постоянный редирект, на другие страницы без этих путей. И он проиндексирует уже нормальные страницы которые я хочу видеть в индексе, после чего можно будет удалить страницы вида site.ru/en и site.ru/ru ?

По сути страниц не много штук 300 или 400.

Как понимаю, что директиву Allow и Disallow не надо запрещать к индексации страницы с site.ru/en, т.к. с них будет всё равно редирект?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий