Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Могут ли поисковые роботы скрываться за юзерагентом libwww-perl/5.800 ?

H
На сайте с 20.08.2004
Offline
13
Hank
558

По мои сайтам очень активно ходят боты с юзерагентом libwww-perl/5.800 и наносят ощутимый урон. Вот думаю если их через

.htaccess забанить не отсеку ли я полезных роботов ? Ведь может же гугль или яндекс прийти не под дефолтным юзерагнетом, а под каким-нибудь другим (например libwww-perl/5.800 или MSIE 6.0 ) что б клоачников отловить ?

[ Лучшее решение для фармо траффика (http://genbucks.com/?partner) ] [ живой хостинг 24/7 (http://www.hqhost.net/?pid=77) ]
Григорий Селезнев
На сайте с 25.09.2001
Offline
298
Григорий Селезнев
#1

врядли - нормальные роботы нормально представляются ... скорее Вас анализируют или скачивают ... узнайте по подсетке кому принадележит IP. Сайт на какую тему ?

H
На сайте с 20.08.2004
Offline
13
Hank
#2

Да, меня анализируют и скачивают -100 %. Причём весьма активно :-/

Узнать их ip для меня сложная техническая задача. Webalizer не

даёт такой детализации. Тема - soft.

Вот анализ для 5 разных сайтов маштабов деятельности этих роботов за сентябрь:

Num Hits Useragent

1 1813 51.61% libwww-perl/5.800

2 687 19.56% MSIE 6.0

3 335 9.54% Opera 7.5

4 298 8.48% Ask Jeeves/Teoma)"

5 151 4.30% Mozilla/5.0

6 39 1.11% MSIE 5.0

7 35 1.00% msnbot/0.11 (+http://search.msn.com/msnbot.htm)

8 33 0.94% Googlebot/2.1 (+http://www.google.com/bot.html)

1 2251 39.15% libwww-perl/5.800

2 1027 17.86% MSIE 6.0

3 1015 17.66% msnbot/0.3 (+http://search.msn.com/msnbot.htm)

4 675 11.74% Googlebot/2.1 (+http://www.google.com/bot.html)

5 246 4.28% Opera 7.5

6 125 2.17% Mozilla/4.7

7 91 1.58% MSIE 5.0

8 57 0.99% MSIE 5.5

1 286467 62.00% MSIE 6.0

2 35713 7.73% MSIE 5.0

3 34126 7.39% Opera 7.5

4 19979 4.32% Mozilla/5.0

5 16965 3.67% Opera 7.2

6 13641 2.95% msnbot/0.11 (+http://search.msn.com/msnbot.htm)

7 11143 2.41% MSIE 5.5

8 8698 1.88% Win16

9 4843 1.05% Ask Jeeves/Teoma)"

10 4766 1.03% Opera 7.1

11 4427 0.96% Opera 7.0

12 3015 0.65% Opera 6.0

13 2817 0.61% libwww-perl/5.800

1 201548 61.64% MSIE 6.0

2 35053 10.72% Mozilla/5.0

3 15104 4.62% MSIE 5.0

4 9350 2.86% MSIE 5.5

5 6962 2.13% Yahoo! Slurp

6 6713 2.05% Opera 7.5

7 4741 1.45% Pompos/1.3 http://dir.com/pompos.html

8 4644 1.42% msnbot/0.11 (+http://search.msn.com/msnbot.htm)

9 4479 1.37% Win16

10 4246 1.30% Mozilla/4.7

11 3729 1.14% Opera 7.2

12 2819 0.86% libwww-perl/5.800

1 238819 56.61% MSIE 6.0

2 59311 14.06% Mozilla/5.0

3 24293 5.76% msnbot/0.11 (+http://search.msn.com/msnbot.htm)

4 15936 3.78% MSIE 5.0

5 10104 2.40% Opera 7.5

6 8873 2.10% MSIE 5.5

7 6032 1.43% Win16

8 4395 1.04% Opera 7.2

9 4304 1.02% Googlebot/2.1 (+http://www.google.com/bot.html)

10 2948 0.70% ia_archiver

11 2817 0.67% libwww-perl/5.800

eTarget 2011: Круглый стол Отчет о конференции User Обзор семинара Леонида Гроховского

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий