Вопрос про robots.txt и домены

DK
На сайте с 08.07.2013
Offline
9
722

Добрый день!

Интересует такой вопрос. Есть основной домен, на нём есть поддомены: 3 и 4 уровня.

Если я создам robots.txt на основном домене (2 уровня), подтянется ли он для поддоменов?

С точки зрения поисковых ботов?

WS
На сайте с 28.01.2009
Offline
67
#1

robots.txt будет работать только для того домена или поддомена, на котором он размещен.

Для каждого домена/поддомена нужно настраивать свой robots.txt, например:

Target Family (http://target-f.ru/) - продвижение сайтов в Самаре, разработка сайтов под ключ, интернет-агентство полного цикла
DK
На сайте с 08.07.2013
Offline
9
#2
WhiteSEOMagic:
robots.txt будет работать только для того домена или поддомена, на котором он размещен.

Для каждого домена/поддомена нужно настраивать свой robots.txt, например:

А если учитывать, что база данных у них одна?

Fabio
На сайте с 17.07.2008
Offline
126
#3
DimkaKD:
А если учитывать, что база данных у них одна?

Причем тут база данных? На одной базе данных, при желании, может много сайтов работать.

DK
На сайте с 08.07.2013
Offline
9
#4
Fabio:
Причем тут база данных? На одной базе данных, при желании, может много сайтов работать.

Работать да, но они склеиваются же.

WS
На сайте с 28.01.2009
Offline
67
#5

DimkaKD, сделайте следующее...

1. Добавьте в robots.txt только для основного домена 2 уровня в самом низу файла такую строку:

#test

2. Проверьте, появилась ли данная строка в robots.txt на основном домене 2 уровня и на поддоменах 3 и 4 уровней.

* При просмотре изменений файла robots.txt рекомендую обновлять страницу комбинацией клавиш Ctrl+F5, чтобы очистить кеш браузера.

Выводы можно сделать следующие:

а) Если эта строка отобразится в robots.txt только на основном домене, значит настройки роботс будут работать только для основного домена.

б) Если эта строка отобразится в robots.txt сразу на всех доменах, значит настройки роботс будут работать сразу для всех доменов.

Насчет того, как поисковые роботы воспринимают файл robots.txt:

Каждый домен и поддомен для них как отдельный сайт.

На индексацию forum.searchengines.ru влияет файл

На индексацию https://searchengines.guru/ влияет файл

На индексацию searchengines.ru влияет файл

Подробнее об использовании файла robots.txt читайте тут:

http://help.yandex.ru/webmaster/?id=996567

cheredov
На сайте с 07.04.2011
Offline
125
#6
DimkaKD:
Работать да, но они склеиваются же.

При желании у них может быть абсолютно разный контент.

Иван Чередов (http://ivan.cheredov.com/about/)
DK
На сайте с 08.07.2013
Offline
9
#7

всем спасибо уже разобрались

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий