где ошибка в robots.txt

123 4
Z
На сайте с 03.07.2003
Offline
108
3097

Здравствуйте. Прошу не отсылать сразу к поиску, так как в поиске уже была, но ответ не нашла

В чем конкретно ошибка а файле robots.txt

User-Agent: *

Disallow: /папка/

Host: поддомен.сайт.com

или

User-Agent: *

Host: сайт.com

Мне нужно чтобы именно без www. я вообще раньше robots.txt не пользовалась, но теперь яндекс не хочет переиндексировать мои сайт без www (а у меня без www вес сайта приличный, а с www - вообще никакой, так как я все время без www его регистриовала везде и яндекс его без www индексировал, а теперь вдруг решил с www проиндексировать), и вот уже три месяца как я закачала robots.txt, но яндекс не реагирует. То есть на disallow отреагировал, а host никак не хочет. Я решила проверить правильность robots.txt и чекеры говорят ошибка в директиве host (например на scrubtheweb), а какая именно ошибка не говорят и я не могу понять в чем ошибка.

Всем спасибо

FlyAway
На сайте с 01.06.2005
Offline
439
#1

так

User-Agent: *

Disallow: /папка/

User-Agent: Yandex

Disallow: /папка/

Host: сайт.com

Директиву Host понимает только Яндекс, в данном случае прописываем только для Яндекса и ждем. Если сайт в Я каталоге, то после прохода зеркальщика, главное зеркало само поменяется с www на без www. Ждать можно примерно две недели - месяц, может больше - зависит от того, когда зеркальщик пройдется.

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
Z
На сайте с 03.07.2003
Offline
108
#2

Спасибо за ответ

А как насчет других поисковиков? Например, у меня PR без www - 5 а с www - 0. Как другие поисковики заставить видеть сайт без www? Или для них это не имеет значения? Они автоматически сами знают, что это один и тот же сайт?

FlyAway
На сайте с 01.06.2005
Offline
439
#3

zeta, 301 редиректом можно им показать какое зеркало главное.

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
#4
FlyAway:
zeta, 301 редиректом можно им показать какое зеркало главное.

Нельзя! Они тогда вообще не будут зеркалами!

bondarevpipes.com (http://ru.bondarevpipes.com/)
FlyAway
На сайте с 01.06.2005
Offline
439
#5

bondarev.pp.ru, что это нельзя? 301 редирект низя? ) а чем же они будут?

spark
На сайте с 24.01.2001
Offline
130
#6
zeta:
А как насчет других поисковиков?

также можно все внутренние ссылки на сайте сделать абсолютными

не /page.html, а http://site.com/page.html

Z
На сайте с 03.07.2003
Offline
108
#7

Нельзя! Они тогда вообще не будут зеркалами!

Что-то такое я уже читала на этом форуме. И вообще редирект по-моему не есть хорошо? Хотя я в этих вопросах такой профан 😕

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
#8
FlyAway:
bondarev.pp.ru, что это нельзя? 301 редирект низя? ) а чем же они будут?

Просто двумя разными сайтами, один из которых индексируется, поскольку отдает "200 Ок", а второй не индексируется, поскольку отдает "301 Moved Permanently".

Проверено: гугл, например, для таких сайтов отдельно PR считает, то есть PR не суммируется для главного зеркала.

Да и вообще, как сайт, отдающий 301 может быть чьим-то зеркалом? Сайт-зеркало должен отдать те же документы, а такой сайт вообще не отдает ни одного документа!

301 редирект можно ставить только когда поисковики зазеркалят сайты. Иначе этого так и не произойдет.

zeta:
И вообще редирект по-моему не есть хорошо?

Почему же? Редирект - это очень хорошо и идеологически правильно.

FlyAway
На сайте с 01.06.2005
Offline
439
#9

bondarev.pp.ru, так причем тут два разных сайта? речь идет об ОДНОМ сайте. Зачем человеку нужно ждать зеркалирования сайта, если ПР все равно на папке www нулевой? ждать до посинения и молиться на ПР? Не одним ПРом рунет богат...

M
На сайте с 16.12.2003
Offline
83
Mit
#10

серверный редирект так вообще сказка для поисковиков

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий