Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Выпал из Яндекса из-за robots.txt

12
K
На сайте с 31.01.2001
Offline
737
Kost
#11
dj_maxx:
Уже 2 дня меня сканят боты яндекса, а в поиске до сих пор пусто

Быстро только кошки родятся. Привыкайте к срокам, измеряемым в неделях а не днях. А для некоторых вещей и к месяцам.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
AVV
На сайте с 31.07.2006
Offline
84
AVV
#12
BigBrother:
Дело в том, что если робот видит наличие robots.txt, но не может получить его содержимое - он, по понятным причинам, считается запрещающим.

Т.е., если Яндекс не смог по каким-то причинам прочитать robots.txt, или же правильно его обработать, то сайт проиндексирован не будет (что, кстати, противоречит стандарту исключений для роботов).

Не в этом ли заключается причина периодического массового выпадения сайтов из индекса? ;)

DM
На сайте с 07.05.2007
Offline
2
dj_maxx
#13

В общем сделал примерно так как описано выше, имеем следующий файл robots.txt

http://solomenka-ix.org.ua/robots.txt

Сегодня утром зашел Яндекс, прочитал файл и ушел. Что опять не так?

Вот всё, что было от яндекса:

87.250.231.20 - - [03/Jul/2007:01:57:40 +0300] "GET /robots.txt HTTP/1.1" 200 74

87.250.231.20 - - [03/Jul/2007:01:57:41 +0300] "GET /torrent/forum/viewtopic.php?t=10998 HTTP/1.1" 200 57835

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
AVV
На сайте с 31.07.2006
Offline
84
AVV
#14
dj_maxx:
В общем сделал примерно так как описано выше, имеем следующий файл robots.txt
http://solomenka-ix.org.ua/robots.txt

Сегодня утром зашел Яндекс, прочитал файл и ушел. Что опять не так?

http://solomenka-ix.org.ua/robots.txt

А где файл то, robots.txt?


HTTP/1.1 404 Not Found
Server: nginx/0.5.17
Date: Mon, 09 Jul 2007 05:08:05 GMT
Content-Type: text/html
Connection: close
Last-Modified: Sun, 25 Jun 2006 13:41:31 GMT
ETag: "8d8195-c37-9f9178c0"
Accept-Ranges: bytes
Content-Length: 3127
K
На сайте с 31.01.2001
Offline
737
Kost
#15
dj_maxx:
Сегодня утром зашел Яндекс, прочитал файл и ушел. Что опять не так?

Что же вы всем парите мозг? У сайта было зеркало www.ifly.org.ua, вот оно и проиндексировано.

А вы его взяли и отключили. Теперь Яндекс будет еще долго пытаться его индексировать.

P.S. А в логах очень вредно выкидывать User-agent, непонятно, что это за робот заходил, индексатор, или, например, зеркальщик. Да и вообще IP роботов Яндекса я наизусть не знаю :).

DM
На сайте с 07.05.2007
Offline
2
dj_maxx
#16
AVV:
http://solomenka-ix.org.ua/robots.txt

А где файл то, robots.txt?

Убрал я его. Потом поэкспериментирую, когда яндекс меня опять полюбит :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий