Проблема с роботс.тхт(

rijy
На сайте с 29.06.2007
Offline
119
523

Решил организовать грамотно роботс.тхт, но возникло несколько наверное глупых вопросов..

У меня есть корневой раздел, в нем стоит скрипт редиректа на подпапку.. т.е. когда пользователь грузит ссылку:

http://www.site.ru

он попадает на:

http://www.site.ru/forvb/index.php

так вот в этой самой подпапке /forvb/ есть несколько (не все!) файлов, которые я бы хотел ограничить для просмотра ботам поисковиков..

Вопрос: Каким образом мне прописать эти файлы в роботс.тхт?

Кроме того, у меня на сайте есть пару поддоменов.. Для них, естественно, создались подпапки в корневой директории домена.

Вопрос: где создавать роботс.тхт для поддоменов? в подпапках, отвечающих за поддомен? или все таки в корне домена? если я в корне домена создам роботс.тхт, запрещающий к ним доступ, это будет касаться только роботов, просматривающих главный сайт? или же это полностью запретит индексацию поддоменов?

Заранее спасибо.

Данил
На сайте с 17.01.2006
Offline
153
#1

Создавайте роботс.тхт для под доменов в папках для под доменов тогда он будет работать для под доменов.

Роботс.тхт действует на один сайт (его главное зеркало) поэтому для каждого под домена создавайте свои роботс. :)

Покупаю сайты (/ru/forum/394337). Заработай себе на екро — Сапа (http://www.sape.ru/r.0d0e35f6a7.php). Для продвжиения быстро и на автомате (http://www.seowizard.ru/r.0d0e35f6a7.php)!
john2007
На сайте с 26.03.2007
Offline
173
#2
rijy:
так вот в этой самой подпапке /forvb/ есть несколько (не все!) файлов, которые я бы хотел ограничить для просмотра ботам поисковиков..
Вопрос: Каким образом мне прописать эти файлы в роботс.тхт?

user-agent: *

disallow: /forvb/file1.ext

disallow: /forvb/file2.ext

....

disallow: /forvb/fileN.ext

если у вас поддомен:

subdomain.domain.ru

то robots.txt управляюший его индексацией должен быть доступен по адресу:

subdomain.domain.ru/robots.txt

таким образом у каждого поддомена должен быть свой роботс, а у "корневого" домена свой.

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)
rijy
На сайте с 29.06.2007
Offline
119
#3

john2007, Данил, огромное спасибо за пояснения!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий