Форум Поисковые системы Прочие поисковики

Rambler & robots.txt

admad
На сайте с 22.06.2004
Offline
126
admad
1024

А скажите, Рамблер игнорирует роботс.тхт чтоли?

C
На сайте с 19.09.2001
Offline
120
Cherny
#1

В целом нет, хотя некоторые глюки замечались.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
admad
На сайте с 22.06.2004
Offline
126
admad
#2

глюки :) хм

Еще месяц назад перенастроил роботс, запретил некоторые разделы. А паук рамблера приходит ежедневно и методично кроме всего прочего хавает эти разделы. За Яндексом и гуглем этого не замечено

C
На сайте с 19.09.2001
Offline
120
Cherny
#3

admad, дайте robots посмотреть, может в нем проблема.

admad
На сайте с 22.06.2004
Offline
126
admad
#4

http://www.be1.ru/stat/?url=http%3A%2F%2Fwww.bpn.ru%2F

тут все видно

C
На сайте с 19.09.2001
Offline
120
Cherny
#5

Сделайте отдельную секцию для Яндекса с директивой Host, может быть робот Рамблера на ней спотыкается.

admad
На сайте с 22.06.2004
Offline
126
admad
#6

На прошлой неделе так уже делал - все по барабануЖ ест все подряд.

Как бы это не очень критично, потому как ограничения у него как Яндекса нет...

А If-Modified-Since Рамблер запрашивает?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий