Один robots.txt на два сайта. Возможно ли?

I
На сайте с 13.11.2008
Offline
57
797

Добрый день!

У клиента два домена лежат в одной папке фтп. Долго рассказывать, зачем и почему, но факт остается фактом: robots.txt эти сайты делят, раздельные роботсы им сделать нельзя.

Есть необходимость закрыть у одного сайта одни разделы, а у другого сайта - другие.

Примет ли Яндекс такое построение роботса?

User-Agent: Yandex

Disallow: /page1ofsite1

Disallow: /page2ofsite1

Host: www.site1.ru

Disallow: /page3ofsite2

Disallow: /page4ofsite2

Host: www.site2.ru

Для гугла ничего закрывать не планируется, только для Яндекса нашего любимого. Буду рад любому совету, опыту, размышлениям на тему, спасибо.

timonstr
На сайте с 16.01.2011
Offline
31
#1

igoruha, изврат какой-то, можно вам только посочувствовать. Лучший вариант конечно разнести сайты по разным папкам. Один раз помучаетесь, зато в будущем избавите себя от головной боли.

Я конечно никогда ничего похожего не делал, но может быть вам поможет:

1) делаем robots1 и robots2, а потом делаем редиректы в htaccess на разные роботсы для ваших доменов. По идее, работать должно.

Продвигаю сайты в топ
I
На сайте с 13.11.2008
Offline
57
#2

timonstr, спасибо! Сам сейчас думаю примерно в том же направлении - htaccess, modrewrite, скриптик может какой. Наверно получится.

Но теоретический интерес к этой теме остается :)

TF-Studio
На сайте с 17.08.2010
Offline
334
#3

через php отдавать robots в зависимости от текущего домена.

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
igiodua
На сайте с 24.10.2008
Offline
135
#4

Второй раз Host точно писать не нужно, да и первый, если оставлять один роботс на 2 сайта.

Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.
http://help.yandex.ru/webmaster/?id=996567#996574

если на сайтах не пересекаются урлы страниц которые будут блочить, то вполне можно обойтись одним файлом на двоих.

september
На сайте с 11.09.2009
Offline
591
#5

Это в одном файле 2 Host?

Если cms одинаковые - оставьте как есть первую часть, только уберите Host

$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
Intromarket
На сайте с 07.12.2011
Offline
55
#6

Эм, я бы наверное помучался и перенес сайты по разным папкам, а затем каждому добавил robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий