Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Список user_agent - где бы найти?

V
На сайте с 20.11.2003
Offline
4
Valera
1234

Уважаемые специалисты,

Не подскажет ли кто, можно ли найти в сети свежий список user_agent для поисковых машин (и Рунет, и основные импортные)?

Хотелось бы исключить заходы с поисковых серверов из учета статистики внутренним серверным скриптом - а то сейчас он воспринимает такие заходы как нормальных пользователей, что для анализа популярности страниц как-то не здорово...

Если не трудно, подскажите:

1. Достаточно ли опознавания по user_agent или нужно что-то еще?

2. стОит ли делать сравнение с полным именем user_agent или лучше по подстроке?

funnybunny
На сайте с 14.09.2002
Offline
357
funnybunny
#1

Valera, в поиск!

Сколько раз уже писано и переписано

V
На сайте с 20.11.2003
Offline
4
Valera
#2

Посмотрел я поиск, прежде чем спрашивать, но не нашел ответа :(

Все, что удалось найти в поиске здесь, я нашел и поиске на яндексе-гугле. Только вот не полный ответ у них, увы.

Думал, может кто из спецов поделится опытом ;)

Яндекс кобласит Проверка Cloudflare, хотя я Упал доход
А
На сайте с 14.11.2003
Offline
150
Анар
#3
Как писал Valera
Не подскажет ли кто, можно ли найти в сети свежий список user_agent для поисковых машин (и Рунет, и основные импортные)?

Насчет свежести... не знаю.

http://www.robotstxt.org/wc/active/html/index.html

http://www.pgts.com.au/pgtsj/pgtsj0208d.html

http://www.netsys.com/cgi-bin/display_article.cgi?1193

http://www.psychedelix.com/agents.html

http://www.siteware.ch/webresources/useragents/spiders/

http://www.jafsoft.com/searchengines/webbots.html

http://www.actulab.com/identification-des-robots.php

http://www.siteware.ch/webresources/useragents/collectors/ (сборщики мыла)

Рунетовские общеизвестны... не раз обсуждались на форуме

Плохо искали...;)

V
На сайте с 20.11.2003
Offline
4
Valera
#4

Спасибо, Анар.

Воспользуюсь.

[Удален]
#5

Valera, для этой задачи обычно просто исключают все заходы, в которых user-agent не содержит подстроки Mozilla. Основные роботы ее не содержат.

NL
На сайте с 29.01.2003
Offline
212
NULL
#6

Не основные это Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 4

B
На сайте с 11.11.2003
Offline
6
Bianca
#7

Интересно, как же тогда понимать 195.5..:Mozilla/4.51 [ru] :Win98; I ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий