Трафик и поисковые роботы

Как писал ~MADNESS~
Давно интересовал вопрос, но как то стеснялся спросить, а поисковые роботы много трафика забирают?

Не настолько много, чтобы из-за этого волноваться. Да и сделать с этим все равно ничего нельзя. Разве что noindex -ом их, как колорадских жуков - дустом ;)

С уважением,

Виктор

vmegap, я в принципе не волнуюсь, но мне было интересно узнать, а вообще как можно узнать сколько они трафика потребляют и какие роботы уже заглядывали к тебе, есть ли такие средства или возможности.

~MADNESS~, можно, например, узнать, когда приходил робот Google. Ссылку не даю (администрация отругает) - можешь на моем сайте найти.

ИМХО, скорее стоит волноваться, что роботы "забирают трафика" слишком мало, т.е. их визиты не так часты, как нам хотелось бы.

С помощью анализа log-файлов (например, программой Sawmill) можно замерить потраченный на каждого робота трафик.

А с помощью robots.txt можно довольно эффективно управлять похождениями индексирующего робота, не давая ему кушать лишние страницы и создавать "непроизводительный" трафик. ;)

-и спасибо, что не даешь - письмо на каждый заход Гугла получать - лучше на спам подписаться... И еще интересно, а что ж такая преференция Гуглю? Этак можно и на каждый заход Яндекса, Рамблера, и Апорта письма получать. И за пользователями следить :). Вот удобно - только к тебе зашли, а тут уже и письмецо радостное от робота прилетело :)

Ну так я предложил вариант. Пользоваться или нет - личное дело каждого.

euhenio, когда я плотно занимаюсь каким-либо сайтом, мне интересная вся информация, вся статистика. Поэтому всяческие уведомления, изменения, напоминаю, все, что угодно, я не считаю спамом, ведь они могут навести на интересные мысли и дать дополнительную пищу для размышлений. Но, это ИМХО, так что не принимайте близко к сердцу :)

Проще по telnet/ssh логи отсмотреть в реальном времени :) ну или через grep