robots.txt

Дополнительный домен, 2 домена второго уровня (один в другом)

Я поняла о чем он.

Когда на одном одном тарифном плане несколько сайтов, то один из них основной, а остальные вторичные и находятся в поддиректориях на хостинге.

site1.ru/site2.ru

site1.ru/site3.ru

Я думаю, что если обращение к сайту2 возможно как обращение с поддомену или поддиректориии сайта1 то закрывать в robots.txt надо.

У меня самой сейчас такая ситуация, я буду пытаться закрывать.

так и надо было писать..

роботс тут ни каким боком - если что надо разруливать, то только через .htaccess..

Что-то я теперь совсем запутался, так может ли робот пришедший к сайту2 полезть выше корневой папки сайта2, тоесть в корневую папку сайта1?

Робот не лазит по папкам, он дает HTTP-запрос и получает ответ веб-сервера.

Для ответа на запрос по папкам лазит веб-сервер. Выше корня сайта он за файлами и документами не лазит. Иначе можно было бы подсмотреть файлы, которые видеть никому не положено - это огромная дыра в безопасности.

Я думаю нет.

А вот если кто-то из конкурентов подскажет яндексу, что по адресу site1.ru/site2.ru имеется копия site2.ru то возникнут проблемы с определением первоисточника контента. Поэтому не забудем про директиву Host.

Все ИМХО, сама сейчас размышляю что делать.

по какому поводу - в роботсе все просто (как в женской бане))..

Mellifleur, Вы скажите какую цель преследуете? А то ничего не понятно. Если у вас структура такая:

site1.ru/site2.ru/ и вы в site1.ru/robots.txt закрыли папку /site2.ru/, то роботы не проиндексируют site2.ru.

У меня проблема хуже, второй сайт вылазит как поддомен

site2.site1.ru

я не знаю как запретить индексацию в виде поддомена, оставив индексацию в в виде отдельного домена. Первый раз столкнулась

Сайт site2.ru проиндексируют.