Disallow в роботсе

Екатерина01, см. мою подпись, много раз обсуждали ...

Вот так нужно:

User-Agent: *

Host: site.ru

Ну разницы между тем что вы написали нашим вариантом почти нет. И тем более нет "Disallow". Т. е. по вашему он и не нужен?

это как раз хуже, директиву хост понимает только яшка, идеологически лучше, если только для него она и прописана. хотя практически я думаю другие поисковики просто проигнорят.

Екатерина01, если вы хотите, чтобы yandex выводил в выдаче ваш сайт без www, то что я написал вам подойдёт :)

Отлично. А то что у нас сейчас - нет?

Megavolt, так yandex и нужен ;)

User-Agent: Yandex

Disallow:

Host: womantalks.ru

Не то чтобы "надо", но так ближе к стандарту.

Или запретить ненужную или несуществующую папку:

User-Agent: Yandex

Disallow: /eprst

Host: womantalks.ru

Отсутствие директивы disallow является нарушением формата файла robots. Читайте здесь: http://www.citforum.ru/internet/search/rbtspec.shtml

Вообще-то эта ссылка - из помощи "Яндекса", ею тоже никогда не пренебрегайте!

Директива disallow обязана быть, в Вашем случае - скорее всего, пустой, если Вы не планируете закрывать какие-либо директории на сайте.

Затем ждите зеркальщика, а если был уже - ждите перезеркаливания после апдейтов... Но это может быть и долго, иногда 1,5 месяца бывало (не визит зеркальщика, а процесс переклейки в базе "Я").

Агента можно указывать хоть *, хоть явно. Директиву host все равно только "Я" понимает, другие игнорируют.

С уважением - Алексей

Да мы ждем уже 2 месяца! Надоедает уже ждать.

За ссылочку спасибо.

Екатерина01, вот Вам из той самой ссылки цитата:

"Если файл /robots.txt пуст, или не отвечает заданному формату и семантике, или его не существует, любой поисковый робот будет работать по своему алгоритму."

Два месяца, думаю, тоже не предел. Но лучше измените формат файла :).

Спасибо за внимание.

С ув. - АК.