Форум Поисковые системы Прочие поисковики

Рамблер игнорирует robots.txt?

Killer
На сайте с 12.11.2004
Offline
130
Killer
1007

Р уже час как гуляет по моему форуму где вообще для всех запрещена индексация. У меня что-то неправильно написано в роботс? Или он игнорирует его?

форум h_ttp://forum.smallweb.ru/

K
На сайте с 31.01.2001
Offline
737
Kost
#1

А перевод строки в конце robots.txt есть?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Гроссмейстер
На сайте с 15.01.2005
Offline
104
Гроссмейстер
#2

Похоже, что с Рамблером действительно что-то случилось...

см. тему "А Rambler всегда Яндекс индексировал!?". Я там как раз про странное отношение Рамблера к robots.txt писал.

Андрей Муравьёв Временно заброшенный блог: «Заметки интернет-маркетолога (http://web-blog.ru/)» «Чтобы задать правильный вопрос, нужно знать большую часть ответа» © Цицерон.
Killer
На сайте с 12.11.2004
Offline
130
Killer
#3
Как писал Kost
А перевод строки в конце robots.txt есть?

Есть.

http://forum.smallweb.ru/robots.txt

tester999
На сайте с 21.10.2004
Offline
149
tester999
#4

Простите, но Вы бы еще UsEr-AgEnT: написали бы...

C
На сайте с 19.09.2001
Offline
120
Cherny
#5

Имя поля case insensitive, поэтому регистр здесь ни при чем.

Скорее всего, робот индексирует форум по адресу http://www.smallweb.ru/forum/ так как

здесь ему это не запрещено.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
D
На сайте с 22.12.2004
Offline
2
danshin
#6
Как писал tester999
Простите, но Вы бы еще UsEr-AgEnT: написали бы...

а в чем собственно проблема-то? у самого РА (впрочем, как и у Гугла) написано в виде User-agent:, http://www.rambler.ru/robots.txt, а вот у Я - User-Agent: :)

tester999
На сайте с 21.10.2004
Offline
149
tester999
#7
Как писал danshin

а вот у Я - User-Agent: :)

:(

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий