useragent Бегуна

suraev
На сайте с 26.07.2005
Offline
153
1122

Раньше у Бегуна в user-agent было написано: Begun Robot Crawler

Это позволяло отличать Бегуна от живых пользователей и не блокировать его при повышенной активности (в Битриксе есть такая настройка, не блокировать нужных ботов, даже если они слишком активны).

Недавно у Бегуна сделали совершенно безликий user-agent:

Mozilla/5.0 (X11; U; Linux x86_64; ru; rv:1.9.1.1) Gecko/20090730 Gentoo Firefox/3.5.1

Пишу в техподдержку - там подтверждают, да, поменяли. И теперь будет так.

Неужели в Бегуне в техническом отделе никто не понимает смысл User-Agent и смысл того, чтобы Бегуна можно было отличать от обычных посетителей?

BN
На сайте с 12.08.2004
Offline
155
#1

и давно они такое замутили ?

suraev
На сайте с 26.07.2005
Offline
153
#2

Несколько месяцев назад.

[Удален]
#3

по-моему это логично.

вы же наверно в курсе что робот яндекса ходит не только со своим юзер-агентом, но и заходит с подобным безликим, дабы избежать подмены страницы со стороны сайтов

suraev
На сайте с 26.07.2005
Offline
153
#4

Речь не о поисковом индексаторе, а о боте рекламной сети. И тут речь не о контрольных заходах (ради бога), а о постоянном user-agent.

[Удален]
#5

я не понимаю какие это вам проблемы создает, неужели он создает большую нагрузку ?

точнее неужели вообще какие-то боты (если это не целеноправленный ДДОС) создают хоть как-то заметную нагрузку на сервер ?

suraev
На сайте с 26.07.2005
Offline
153
#6

lycefer,

В генерации отчётов о посещаемости мы избавляемся от хитов ботов. Нормальный бот - представляется, и его хиты не забивают статистику.

defin
На сайте с 11.12.2006
Offline
139
#7

А вообще да, я тоже не понимаю смысла маскировки под нормальный браузер основного индексирующего бота. Хотите контролировать - контролируйте на здоровье с подменой на браузер. Но первоначальную индексацию мне кажется нужно осуществлять ботом, который представляется как положено (как это сделано у всех). И правильно говорят выше - для статистических отчетов, где боты отдельно, юзеры отдельно - это важно.

Предвижу следующие топики вида - "мой сайт не индексируется Бегуном" и при разборе окажется, что человек просто забанил юзер-агент Бегуна как подозрительный.

Dreammaker
На сайте с 20.04.2006
Offline
566
#8
suraev:
Linux
suraev:
x86_64
suraev:
Gentoo

по-моему, каждый последующий пункт увеличивает вероятность, что это не реальный пользователь, а бот. Гентушников по сравнению с обычным пользователями даже других линуксов, типа Ubuntu, Debian и прочих мандрив с опенсусями очень мало, не говоря уже о пользователях windows.

defin
На сайте с 11.12.2006
Offline
139
#9
Dreammaker:
по-моему, каждый последующий пункт увеличивает вероятность, что это не реальный пользователь, а бот. Гентушников по сравнению с обычным пользователями даже других линуксов, типа Ubuntu, Debian и прочих мандрив с опенсусями очень мало, не говоря уже о пользователях windows.

Вот именно поэтому на разных хостингах админы решат "это" заблокировать, уж слишком подозрительно выглядит. Тем более сканит много сайтов и много страниц и не представляется при этом. Поэтому нужно представляться правильно, чтобы было видно, что это "хороший" бот.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий