Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

12
sosed
На сайте с 07.09.2006
Offline
34
sosed
#11 

User-agent: *



host: www.domain.ru



Disallow: /?
Если я не путаю, здесь лишние пробельные строки. Или это у Вас почерк такой? ;)

ЗЫ Про порядок уже сказали.

Хочу в дорвейщики! Не кóрысти ради, а токмо для ёкспиремента Обойди конкурента, займи своё место в выдаче — http://webmaster.yandex.ru/delspam.xml (http://ussr.trast.info)
Concept
На сайте с 02.03.2007
Offline
70
Concept
#12
Leos:
Concept, купил конечно, для того вопрос и задавал. Но сомнения остались.

Вы видели урл, я проверил его, ответ был " Индексация сервера domain.ru:80 запрещена полностью."

Если не забуду - в этом топике через месяц отпишу - проиндексировал кто-нибудь такую ссылку или нет.

Leos

Сейчас я объясню Вам. (постараюсь попроще)

В роботсе указан главный хост - www.domain.ru

А вы проверили здесь - http://www.yandex.ru/cgi-bin/test-robots - без www

Поэтому Вам и показало что индексация запрещена полностью - так как в роботсе указано что сайт нужно индексировать именно как www.domain.ru

Проверьте ещё раз, добавив www, и увидете что всё ок. :)

Так что не переживайте, всё проиндексируется!

С уважением, Сергей
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий