Помогите правильно написать robots.txt

Н1
На сайте с 18.10.2002
Offline
0
1071

Вот есть такая проблема.

Есть сайт на домене третьего уровня, например xyz.domain.ru. При его запрашивании выдается скрипт, который лежит в поддиректории корневого каталога сервера, то есть по адресу "domain.ru/xyz/". Все url сайта получается будут дублироваться, то есть "http://xyz.domain.ru/url..." и "http://www.domain.ru/xyz/url...". Получается, что поисковики могут вообще не считать xyz.domain.ru как отдельный домен, а будут считать, что это страницы домена domain.ru.

Если, например, в robots.txt запретить директорию /xyz/ , то поисковики вообще ничего не проиндексируют или все-таки они будут индексировать url вида "http://xyz.domain.ru/url..."?

Как при таких условиях сделать, чтобы в поисковиках был проиндексирован именно домен третьего уровня xyz.domain.ru, а не как страницы сервера domain.ru?

Д
На сайте с 18.10.2002
Offline
0
#1

Давай решим эту проблему ПОТОМ, ок?

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#2

Не понял...

Вы что, ребята, решили здесь просто пообщаться друг с друкком? :)

Н1
На сайте с 18.10.2002
Offline
0
#3

2Gray: этот нехороший человек просто решил надо мной подшутить. Удали, если возможно его сообщение...

euhenio
На сайте с 21.09.2001
Offline
357
#4
Если, например, в robots.txt запретить директорию /xyz/ , то поисковики вообще ничего не проиндексируют или все-таки они будут индексировать url вида "http://xyz.domain.ru/url..."?

-фсё такки будутт. :) Поскольку поисковики берут robots.txt из корневой директории домена, для управления индексированием разных доменов надо класть robots в отдельные папки.

Например, в корне domian.ru запретить директорию xyz.

А в корне xyz.domain.ru все разрешить.

А лучше сделать страницы в xyz.domain.ru скриптами, которые определяют запрошенный урл и если адресация идет через domain.ru/xuz, редиректят на субдомен. А еще лучше - просто не ставить такких ссыыллокк..

с ув., Евгений Трофименко seo блог Trofimenko.ru ( http://trofimenko.ru/ ) но ыыы мало обновляется... Tools.Promosite.ru - анализатор апдейтов Яндекса (пожертвуйте лимиты на Яндекс.XML! ( https://searchengines.guru/ru/forum/801888/page7#comment_11942489 )) Konvr.ru - увеличение конверсии сайта на 81% за 4 недели ( http://konvr.ru/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий