Kost, у меня собственная совсем несложная баннерная системка. Юзер кликает на баннер, попадает прежде в скрипт, который собирает статистику и кладет ее в БД, а потом отсылает на нужный сайт.
В статистику входят и клики и показы. И конечно хотелось бы избавится от кликов и показов поисковых роботов.
У меня была мысль парсить user_agent. Но смущало то, что роботов очень много ведь.
А вы не могли бы сказать как выглядят user_agent самых главных "обжор"? Яндекса, Гугла и Мэйла я сама увидела, ибо они уже засветились..
Но вот остальные.. Может где-то списки есть?
А IP адреса у них всегда разные? Может по IP отсекать?
HruPifPaf: Ну это проще простого
Количество показов страниц = общее количество - количество показов роботов :)
А проще просто проверять если зашел робот, то такие заходы не учитывать.
А КАК? :) Это ж самое интересное :) Как узнать, что зашел робот?
А я думала robots.txt позволяет закрывать только каталоги и страницы. Но никак не отдельные элементы...
В любом случае баннеры то генерируется на страницах сайта автоматически...В зависимости от разных критериев... Вобщем, если такое возможно, объясните пожалуйста поподробнее, как?
Когда будете писать парсер, обратите, только внимание, что в user_agent Рамблера StackRambler/2.0 (MSIE incompatible)
присутствует слово MSIE
Большое спасибо за советы!!!
Вот у меня такой use_agent засветился:
Mail.Ru/1.0 libwww/5.4.0
Что за зверь тогда?
"Еще проще, парсить user_agent на отсутствие трех основных браузеров:
MSIE, Opera, Gecko (NN, Firefox)"
Это проще. А браузеров точно три только? А то клики живых людей и так бесценны, а если еще будут отсекаться по вине программера - вообще абзац :)
За "обжор" - спасибо! :)
Kost, у меня собственная совсем несложная баннерная системка. Юзер кликает на баннер, попадает прежде в скрипт, который собирает статистику и кладет ее в БД, а потом отсылает на нужный сайт.
В статистику входят и клики и показы. И конечно хотелось бы избавится от кликов и показов поисковых роботов.
У меня была мысль парсить user_agent. Но смущало то, что роботов очень много ведь.
А вы не могли бы сказать как выглядят user_agent самых главных "обжор"? Яндекса, Гугла и Мэйла я сама увидела, ибо они уже засветились..
Но вот остальные.. Может где-то списки есть?
А IP адреса у них всегда разные? Может по IP отсекать?
Ну это проще простого
Количество показов страниц = общее количество - количество показов роботов :)
А проще просто проверять если зашел робот, то такие заходы не учитывать.
А КАК? :) Это ж самое интересное :) Как узнать, что зашел робот?
Ссылка с баннера идёт скорее всего на какой-то обработчик кликов click.php - вот его и закройте он индексации.
Так и есть.
Ну хорошо. А как избавится от подсчета показов страниц с баннером, которые вызываются теми же роботами?
А я думала robots.txt позволяет закрывать только каталоги и страницы. Но никак не отдельные элементы...
В любом случае баннеры то генерируется на страницах сайта автоматически...В зависимости от разных критериев... Вобщем, если такое возможно, объясните пожалуйста поподробнее, как?