Выпал из Яндекса из-за robots.txt

User-agent: Slurp

Disallow: /

Покажи полный robots.txt

Это и есть полный robots.txt

до этого его вообще не было :)

[max@solomenka-ix solomenka-ix]$ cat robots.txt.bak

User-agent: Slurp

Disallow: /

[max@solomenka-ix solomenka-ix]$

PS: в бак переименовал после инцидента уже.

dj_maxx,

Очевидно все же стоит для Яндекса написать отдельную директиву и не забыть указать хост.

Кстати выпать могли и по другой причине

[max@solomenka-ix solomenka-ix]$ cat robots.txt.bak

User-agent: Slurp

Disallow: /

[max@solomenka-ix solomenka-ix]$

В общем ОК... Единственно что - согласно http://www.robotstxt.org/wc/norobots.html -

"The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL)." (выделение мое).

Не то, чтобы очень важно - но я бы пустую строку добавил в конце (как конец блока)

Так что причина скорее всего не в нем. А что забирал Яндексовский индексер? Если НЕ только роботс - тогда точно не в этом проблема.

Последнее, что забрал Яндекс был robots.txt

C тех пор его след простыл...

Хммм... Неужели ребята семантику сломали? Врят-ли.

Вот что..... Внимательно посмотри, с каким кодом ты отдал robots.txt, с каким MIME и не пакованный ли. Дело в том, что если робот видит наличие robots.txt, но не может получить его содержимое - он, по понятным причинам, считается запрещающим.

Мдя.. странно как-то.

Может просто совпало мое создание роботса с очередным апдейтом Яндекса %)

При попытке добавить УРЛ говорит

Сайт при этом живой и относительно не тормознутый. Можете сами проверить...

Почему считается запрещающим?

Стандарт исключений для роботов:

http://www.robotstxt.org/wc/norobots.html

--

И потом, как это так:

Ведь если бот получил ответ сервера при запросе файла с кодом ошибки отличным от 200, то, ясное дело, он файл не видит, а если с ответом сервера 200ОК, то содержимое файла он, естественно, уже получил.

Хм... ситуация стала намного интересней. Уже 2 дня меня сканят боты яндекса, а в поиске до сих пор пусто %)