MSN бот забирает только robots.txt и index.html

P
На сайте с 16.03.2006
Offline
19
837

MSN бот забирает только robots.txt и index.html несколько раз в сутки уже несколько месяцев. В robots.txt сайт для индексации не закрыт.

При этом сайт в выдаче отсутствует.

Скажите, это бан? :rolleyes:

tokareff
На сайте с 30.08.2006
Offline
95
#1

у меня та же ситуация, но только с yahoo

вчера 50 обращений: 25 robots и 25 главная

а msn уже проиндексил

K
На сайте с 20.12.2004
Offline
62
#2
tokareff:
у меня та же ситуация, но только с yahoo

У меня не та же ситуация, но похожая. Забирает много страниц (несколько сотен, по одному разу), но роботс.тхт почему то забирает больше сотни раз в день. Интересно, почему так?

Лучше день потерять, а потом за пять минут долететь (c (http://andrey.lviv.ua/)) м/ф "Крылья, ноги, хвост"

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий