как отсекать всех роботов?

Можно поподробнее?

User-Agent: *

Disallow: /то что нужно запретить

Такая конструкция в роботсе не поможет? Или требуется какоето нетривиальное решение?

нет нет, это не тот случай.

я считаю количество кликов, но в это количество, как оказалось входят и вызовы страниц роботами, которые вызываю страницы больше всех....

а клики то оплачиваемые ...

FreeMarket, реализуйте через javascript

Анализируйте логи сервера на предмет обращения к robots.txt.

Результат - список всех роботов, заходивших на ваш сайт. Ну и по списку...

гугль понимает ведь джава скрипт ...

Я делаю это так:

	# robots detecting              

	$remote_addr=$HTTP_SERVER_VARS['REMOTE_ADDR'];

	$remote_host=gethostbyaddr($remote_addr);

	$robot=FALSE;

	if(strpos($remote_host,'yandex')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'google')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'rambler')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'aport')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'search')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'whois')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'find')!==FALSE)$robot=TRUE;

	if($robot)

	{

	тут можно что-то сделать...

	}

	# robots detecting              

	$remote_addr=$HTTP_SERVER_VARS['REMOTE_ADDR'];

	$remote_host=gethostbyaddr($remote_addr);

	$robot=FALSE;

	if(strpos($remote_host,'yandex')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'google')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'rambler')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'aport')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'search')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'whois')!==FALSE)$robot=TRUE;

	if(strpos($remote_host,'find')!==FALSE)$robot=TRUE;

	if($robot)

	{

	тут можно что-то сделать...

	}

я также делаю, но отсечь всех роботов всёравно не могу, приходят пауки о которых даже не знаю ...

Думаю, можно так на JS написать ссылки на страницы, что ни один робот не поймет... Главное там поизвращаться внутри, используя механизмы которые в принципе недоступны урезаным интерпретатором JS в поисковых машинах, например вызов функции по таймауту...

Тем самым робот никогда не прознает про наши заветные золотые ссылки...

И конечно методы надо комбинировать, тогда минимизируем потери...

Написать так (см. исходник страницы):

<a href="&#116;&#101;&#115;&#116;&#46;&#104;&#116;&#109;">test</a>