Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

D
На сайте с 24.03.2007
Offline
24
denisrog
370

Здравствуйте, такой вопрос назрел.

Есть хостинг с возможностью иметь несколько доменов в одном тарифе. При этом один из них становится как основной, а все другие как дополнительные папки в корне. Соответственно становятся доступными и site2.ru и site2.site1.ru. Причем site2.site1.ru=site2.ru. Вопрос: как закрыть для индексации site2.site1.ru?

Спасибо

freedz
На сайте с 16.04.2007
Offline
115
freedz
#1

Вроде так:

User-agent: *

Disallow: /

D
На сайте с 24.03.2007
Offline
24
denisrog
#2
freedz:
Вроде так:

User-agent: *
Disallow: /

Да, но папка ведь одна. Наверное надо что-нибудь прописать в Host

P
На сайте с 23.01.2008
Offline
74
Playmаn
#3

Вот и кладите свой robots.txt в папку того поддомена который хотите зaпретить индексировать. В хосте для данного случая ничего прописывать не нужно.

B
На сайте с 07.12.2006
Offline
21
baraban
#4

Думаю, нужно в корень основного положить robots.txt следующего содержания:

User-agent: *
Disallow: /site2/
Disallow: /siteN/

чем запретим шастать спайдерам по этим папкам при визите на основной.

Что касается доступности сайтов по http://site2.site1.ru, если таких ссылок не засвечено, то и спайдеры и знать не будут о существовании таких поддоменов. Но на всякий случай, чтобы Яндекс не склеил http://site2.site1.ru с http://site2.ru кидаем в корень каждого из дополнительных доменов (те что по папкам основного) такой robots.txt :

User-agent: Yandex
Host: http://site2.ru/ #или с www, в зависимости от того
                       # как вам хочется чтобы видел Яндекс
Бубна нет, есть барабан )
K
На сайте с 31.01.2001
Offline
737
Kost
#5
baraban:
Host: http://site2.ru/

baraban, давайте вы не будете писать чушь в этом разделе, а почитаете FAQ Яндекса. Хорошо?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
P
На сайте с 23.01.2008
Offline
74
Playmаn
#6
baraban:
Думаю, нужно в корень основного положить robots.txt следующего содержания: 
User-agent: *

Disallow: /site2/

Disallow: /siteN/

чем запретим шастать спайдерам по этим папкам при визите на основной.

Интересная теория. И как это запретит индексацию поддоменов.😕

baraban:
Но на всякий случай, чтобы Яндекс не склеил http://site2.site1.ru с http://site2.ru кидаем в корень каждого из дополнительных доменов (те что по папкам основного) такой robots.txt : 
User-agent: Yandex

Host: http://site2.ru/ #или с www, в зависимости от того

                       # как вам хочется чтобы видел Яндекс

Не туда Вас понесло ...:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий