robots.txt и сайты в одной папке

humbert
На сайте с 16.03.2006
Offline
527
813

Есть сайты, все управляются из одной папки (алиасы), сайты разные.

Как сделать robots.txt?

Парсинг прайс-листов, наполнение интернет-магазина товаром. (https://humbert.ru) Любая CMS (Битрикс, OpenCart, Prestashop и даже Woo Commerce )
KG
На сайте с 02.07.2005
Offline
123
#1

1. Создаем папку robots в корне сайта.

2. Создаем в ней 2 файла: domain1.ru и domain2.ru Заполняем их, только записываем разные домены:

User-agent: *

Disallow /images/

Host: domain1.ru

и

User-agent: *

Disallow /images/

Host: domain2.ru

3. В .htaccess помещаем:

RewriteRule ^robots.txt$ /robots/%{HTTP_HOST} [L,QSA]

Этот вариант работает только при наличии на сервере mod_rewrite. Где-то в .htaccess должна быть строка:

RewriteEngine On

И так далее до бесконечности.

Только причем здесь Яндекс?

IrokezV
На сайте с 05.03.2006
Offline
153
#2

humbert, если я правильно понял, то сутуация такова.

сайт1 доступен по адресу http://www.sait1.ru

сайт2 доступен по адресам http://www.sait2.ru и http://www.sait1.ru/sait2/

В этом случае в роботсе для сайта1 закрываем от индексации папочку sait2

а для второго сайта пишем самый обычный роботс.

Вся жилая недвижимость на Avaho.ru ( http://avaho.ru/?utm_source=searchguru )
humbert
На сайте с 16.03.2006
Offline
527
#3

KindGood, robots именно для яндыкса хочу.

Спасибо, помогло.

IrokezV, Сайты доступны только по http://namesite.ru или http://www.namesite.ru

KG
На сайте с 02.07.2005
Offline
123
#4
IrokezV:
humbert, если я правильно понял, то сутуация такова.
сайт1 доступен по адресу http://www.sait1.ru
сайт2 доступен по адресам http://www.sait2.ru и http://www.sait1.ru/sait2/
В этом случае в роботсе для сайта1 закрываем от индексации папочку sait2
а для второго сайта пишем самый обычный роботс.

Вы неправильно мыслите. Посмотрите как реализована мультисайтовость, например, в NetCat.

IrokezV
На сайте с 05.03.2006
Offline
153
#5

KindGood, мыслю я правильно :) Просто неправильно понял ТС. ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий