Без кондиционеров и мелодий для сотового неинтересно! :)
Прошу прощения с утра не разобрался в сути вопроса. :)
Что касается бана дорвеев, то скорее всего забанят, примеров достаточно.
Если нужна статистика роботами и при этом не серверная, то можно пользоваться Loganalyzer & Robots.txt editor Pro 2.0 (вроде так называется). Если интересует серверная софтина, то могу предложить скрипт. За более подробной инфой пиши в личку.
Если статистику до этого не вел то никак. Можно наладить следующую фишку:
1) Смотришь ссылающиеся страницы.
2) Парсишь этот список.
3) Если что-то упало и т.д., то сравниваешь текущий список с тем который был.
Кстати, спасибо за идею. На досуге скрипт для такой проверки напишу.
Нет почему же говорят, "За поисковый спам" :)
А еще лучше будет, если настроить заголовки LastModified нормально.
Не должны, иначе можно дорвеи на конкурентов клепать, а потом на них стучать.
Из своего опыта могу добавить, что каталожные сайты индексятся чаще.
Современные поисковые технологии одинаковы для всех поисковиков. Считать что Яндекс слепо следует за Гуглем неверно у них есть различия и весьма существенные, начиная от архитектуры и заканчивая алгоритмами. А держаться за новации не так уж и плохо, в конечном итоге качество поиска улучшается.
Показатель работы не ИЦ, а позиции. ☝
