Форум Поисковые системы Яндекс

Яндекс очень хочет robots.tst

Dm
На сайте с 11.03.2002
Offline
108
Dm
767

Подскажите, нормально ли что Яндекс приходит и просит robots.txt раз в двадцать минут? Что это, ошибка в моем robots.txt?

Yandex/1.01.001 (compatible; Win16; I)

Я за ДСДЛ (/ru/forum/135358)
RC
На сайте с 12.04.2005
Offline
18
RealtyCD
#1

Это правило работы поисковых роботов. В первую очередь они обращаются именно к этому файлу, чтобы не засорять логи создайте пустой файл если не хотите ничего запрещать. А Yandex/1.01.001 (compatible; Win16; I) - это основной робот-индексатор Яндекса.

Больше я к realty.cd никакого отношения не имею. Компания разорилась, домен просрочен и регнут кем-то заново. Вот так вот.
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Dm
На сайте с 11.03.2002
Offline
108
Dm
#2

Зачем яндексу этот файл я знаю :). Почему так часто?

RC
На сайте с 12.04.2005
Offline
18
RealtyCD
#3
Зачем яндексу этот файл я знаю . Почему так часто?

Может, у вас есть страницы новостей или еще какие-то подобные, часто меняющиеся страницы? Тогда это можно объяснить...

M
На сайте с 21.11.2004
Offline
230
maximumx
#4

вы про форум наверное говорите?

Продвигаю домены руками (http://roke.ru)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий