В статистике посещений файла robots.txt по 40-50 в день. Как может быть?

это поисковые боты читают - можно индексировать или запрещено

50 раз в день?????????????

там посещаемость примерно 400 чел в день и обновляемость страниц 1 раз в неделю и то не всех а пары - трех

Natashka, так вы посмотрите в логи, кто это был.

а почему бы и нет ;) шутка.

к этому навскидку можно приплюсовать: оптимизаторов и линк-менеджеров, различные скрипты, начиная от каталога ссылок заканчивая теми, которые анализируют сайт..

а что это так напрягает? :D или сервак настолько грузит 🙄

Natashka, посмотрел логи на одном своем сайте с такой же посещаемостью и обновляемостью (хотя, при чем здесь посещаемость?). Вчера роботы загрузили robots.txt 64 раза.

О чем это говорит? Это говорит о том, что это вежливые роботы. Они проверяют актуальность их сведений о вашем robots.txt перед тем, как что-либо индексировать. Дополнительной нагрузки на сайт это не создает, так как robots.txt весит очень мало.

Ну, а если это вам не нравится, то можно запретить robots.txt в robots.txt :)

Или еще лучше установить для него доступ по паролю, и пароль почаще менять. :)

И крайняя мера (если уж ничего не помогает) - удалить robots.txt с сервера, чтобы враг до него не добрался. :)

Я надеюсь, что не вы не будете следовать моим советам и великодушно разрешите роботам читать ваш robots.txt безо всяких ограничений.

Пусть резвятся.

andrej-ilin, ты уж так сильно девушку не пугай ;)

aleks, я девушку пугать не собирался. Просто шутку пошутил. :)

да я и не пугаюсь

просто начальником был поставлен вопрос: на первой странице баннер и надо отследить переходы по нему. Я предложила поставить счетчик на клики, но тут администратор сайта пристал с этим robots.txt и сказал что боты всю статистику испортят. На сколько я уверена что такого быть не должно но сомнения непонятные в мою душу вошли, потому что мне казалось что боты не должны бегать в таком количестве по сайту. Ну это просто побочные мысли пошли т.к. если поставить счетчик то никакой бот не подпортит статистику.А так как давно про это все не читала то и решила что у меня просто с мозгами что то стало нехорошее. вот и полезла к вам с вопросами ))))))))

а до логов добраться не могу пока

...как боты могут испортить статистику по кликам - ума не приложу...

ОХ уж эти боты - неужели кликать сами начинают?