Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Разные robots.txt на сайте c www и без

gamepark
На сайте с 09.02.2007
Offline
124
gamepark
534

вообщем сайт www.pristavki.ur.ru

не индексируется, бот заходит каждый день и дальше главной страницы не идет

проверяю роботс для сайта с www:

все нормально пишет))

для сайта без www:

цитата

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера pristavki.ur.ru:80 запрещена полностью.

основной домен - www.pristavki.ur.ru

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#1
gamepark:
Индексация сервера pristavki.ur.ru:80 запрещена полностью.

основной домен - www.pristavki.ur.ru

так все правильно

ведь Вы действительно запретили индексацию pristavki.ur.ru, указав что главное зеркало www.pristavki.ur.ru. Что не так?

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
gamepark
На сайте с 09.02.2007
Offline
124
gamepark
#2

спасибо

только вот робот сам перескочит на сайт с ввв? просто чтото дальше роботс бот не идет...

Sveta Prokopeva
На сайте с 10.05.2006
Offline
99
Sveta Prokopeva
#3

Cайты www.pristavki.ur.ru и pristavki.ur.ru для бота разные.

В роботсе главным зеркалом прописан сайт с www - "Host: www.pristavki.ur.ru"

Поэтому бот считает сайт pristavki.ur.ru не доступным для индексации

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий