useragent Бегуна

и давно они такое замутили ?

Несколько месяцев назад.

по-моему это логично.

вы же наверно в курсе что робот яндекса ходит не только со своим юзер-агентом, но и заходит с подобным безликим, дабы избежать подмены страницы со стороны сайтов

Речь не о поисковом индексаторе, а о боте рекламной сети. И тут речь не о контрольных заходах (ради бога), а о постоянном user-agent.

я не понимаю какие это вам проблемы создает, неужели он создает большую нагрузку ?

точнее неужели вообще какие-то боты (если это не целеноправленный ДДОС) создают хоть как-то заметную нагрузку на сервер ?

lycefer,

В генерации отчётов о посещаемости мы избавляемся от хитов ботов. Нормальный бот - представляется, и его хиты не забивают статистику.

А вообще да, я тоже не понимаю смысла маскировки под нормальный браузер основного индексирующего бота. Хотите контролировать - контролируйте на здоровье с подменой на браузер. Но первоначальную индексацию мне кажется нужно осуществлять ботом, который представляется как положено (как это сделано у всех). И правильно говорят выше - для статистических отчетов, где боты отдельно, юзеры отдельно - это важно.

Предвижу следующие топики вида - "мой сайт не индексируется Бегуном" и при разборе окажется, что человек просто забанил юзер-агент Бегуна как подозрительный.

по-моему, каждый последующий пункт увеличивает вероятность, что это не реальный пользователь, а бот. Гентушников по сравнению с обычным пользователями даже других линуксов, типа Ubuntu, Debian и прочих мандрив с опенсусями очень мало, не говоря уже о пользователях windows.

Вот именно поэтому на разных хостингах админы решат "это" заблокировать, уж слишком подозрительно выглядит. Тем более сканит много сайтов и много страниц и не представляется при этом. Поэтому нужно представляться правильно, чтобы было видно, что это "хороший" бот.