Поисковые роботы и баннерная статистика

полосатая лошадка, закройте баннер роботсом.

А я думала robots.txt позволяет закрывать только каталоги и страницы. Но никак не отдельные элементы...

В любом случае баннеры то генерируется на страницах сайта автоматически...В зависимости от разных критериев... Вобщем, если такое возможно, объясните пожалуйста поподробнее, как?

Ссылка с баннера идёт скорее всего на какой-то обработчик кликов click.php - вот его и закройте он индексации.

Однако, процент ботов, которые понимают javascript - очень низок и многие из них могут не обратить внимание на robots.txt.

Можно проверять, включены ли кукисы :)

Так и есть.

Ну хорошо. А как избавится от подсчета показов страниц с баннером, которые вызываются теми же роботами?

Ну это проще простого

Количество показов страниц = общее количество - количество показов роботов :)

А проще просто проверять если зашел робот, то такие заходы не учитывать.

А КАК? :) Это ж самое интересное :) Как узнать, что зашел робот?

Проще всего по его User-agent. Программы подсчета статистики знают большинство роботов (вам нужно всего несколько самых главных обжор), а некоторые программы позволяют делать фильтры, исключающие подсчет заходов по тем или иным условиям.

Раз у вас баннерная система, наверное и система статистики есть в исходных текстах, вот ее и надо доработать.

Kost, у меня собственная совсем несложная баннерная системка. Юзер кликает на баннер, попадает прежде в скрипт, который собирает статистику и кладет ее в БД, а потом отсылает на нужный сайт.

В статистику входят и клики и показы. И конечно хотелось бы избавится от кликов и показов поисковых роботов.

У меня была мысль парсить user_agent. Но смущало то, что роботов очень много ведь.

А вы не могли бы сказать как выглядят user_agent самых главных "обжор"? Яндекса, Гугла и Мэйла я сама увидела, ибо они уже засветились..

Но вот остальные.. Может где-то списки есть?

А IP адреса у них всегда разные? Может по IP отсекать?

"Самые главные обжоры":

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

StackRambler/2.0 (MSIE incompatible)

Yandex/1.01.001 (compatible; Win16; I)

msnbot/1.0 (+http://search.msn.com/msnbot.htm)

WebAlta Crawler/1.3.18 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

+ еще робот Апорта (так и называется, Aport). Заходит редко, но все страницы сразу жрет. Тоже - "обжора".

P.S. У Мейла нет своего робота, он пользуется выдачей Яндекса.

Вполне достаточно парсить user_agent на присутствие слов:

"slurp",

"ia_archiver",

"googlebot",

"stackrambler",

"yandex",

"msnbot",

"webalta",

"aport"

Еще проще, парсить user_agent на отсутствие трех основных браузеров:

MSIE, Opera, Gecko (NN, Firefox)

Например: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.6) Gecko/20060728 Firefox/1.5.0.6