Поисковые роботы

Разобраться в чем?

Вообще желательно. Полезно знать о роботах поисковых систем и отслеживать их заходы.

Плюсы и минусы чего?

Необходимо анализировать серверные логи.

Я с админом спорю. Мне надо представить неоспоримые доказательства того, что это полезно. А так же практические советы как отслеживать логи. Мне хотелось бы знать, когда роботы заходят на сайт, т.к. надоело сидеть и ждать у моря погоды, когда же прийдет робот и как далео он зайдет...

Насколько я поняла в User Agent должно быть Yandex - следовательно робот яндекса заходил на сайт. Да?

А у других поисковиков как роботы называются: Rambler, Google и Aport?

Если админу нужно доказывать целесообразность отслеживания логов, то вам необходимо менять хостинг.

Когда угодно. На некоторые сайты могут ходить хоть каждый час, иногда их ждешь месяцами (Aport). Это зависит от многих факторов.

Если по времени суток, то у меня, например, так...

Google - ранним утром;

Yandex - ночью, утром;

Rambler - ровно в полночь.

Про роботов Yandex'а

Огромное собрание имен роботов (в том числе и Google'овский) http://danzcontrib.free.fr/en/pieges.php (там в середине страницы есть абзац который начинается со слов "You can read about the different robots...", далее список необходимых вам ссылок)

Апортовский робот так и называется - Aport.

Анар, спасибо за информацию!

А у рамблера - Rambler называется?

StackRambler/2.0

А spsm bot и bad bot - это роботы, которые например e-mail собирают?