Форум Поисковые системы Прочие поисковики

Всё-таки Rambler не понимает robots

J
На сайте с 13.04.2006
Offline
117
Junkman
756

Или назло Яндексу игнорирует: http://rambler.ru/srch?words=Аккорд+Dsus4&old_q=Dsus4&btnG=Найти!

На 7-ом месте “Народная” гостевая, хотя по robots директория гостевых закрыта от индексирования: http://narod.yandex.ru/robots.txt.

Killer
На сайте с 12.11.2004
Offline
130
Killer
#1

незакрыта, что признается самим же яндексом:

http://www.yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fwww.narod.ru%2F так что все честно.

J
На сайте с 13.04.2006
Offline
117
Junkman
#2

Вот что выдал Яндекс на запрос (http://www.yandex.ru/cgi-bin/test-robots?host=http://narod.yandex.ru/):

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/_help

/admin

/cgi-bin

/forum

/guestbook

/rubrics

/stat

/upload

/userforum

Что-то здесь не так...

K
На сайте с 31.01.2001
Offline
737
Kost
#3

А что тут непонятного? На 7-м месте сайт www.narod.ru/guestbook.....

Запрашиваем http://www.narod.ru/robots.txt и получаем код 302, а не 200.

Т.е. файл robots.txt для домена www.narod.ru отсутствует. И

таких страниц в Рамблере много.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
J
На сайте с 13.04.2006
Offline
117
Junkman
#4

Ясно. У Яндекса что-то не так настроено, с www.narod.ru направляет на narod.ru, а вот гостевые есть и с www и без него.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий