клоакинг ссылок - стоит ли.

это и понятно что через хром сливается инфа о всех урлах и переходах по ним. например ыт заходишь в админку, доступ ограниченный по айпи, бот не пройдет. но факт запроса на страницу будет. или сделал страницу перешел в браузере, и бот тут как тут.

В логах конечно есть моменты интересные, например

176.113.137.226 - - [19/Jan/2016:09:18:05 +0200] "GET  мой .exe HTTP/1.1" 404 16642 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6"

176.113.137.226 - - [19/Jan/2016:09:18:06 +0200] "GET /components/com_k2/css/k2.css HTTP/1.1" 200 8413 referrer = мой.exe" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6"

176.113.137.226 - - [19/Jan/2016:09:18:06 +0200] "GET /templates/jsn_escape_pro/favicon.ico HTTP/1.1" 200 1406 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6"

176.113.137.226 - - [19/Jan/2016:09:18:06 +0200] "GET /components/com_imageshow/assets/css/style.css HTTP/1.1" 200 613 

нельзя грузить в браузере .exe первым заходом на сайт а потом загружать стили сайта, это не логично.

для сравнения переход в хроме на тот же файл

ip - - [19/Jan/2016:10:37:46 +0200] "GET *****.exe HTTP/1.1" 404 16642 "реферер папки но не файла" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36"

ip - - [19/Jan/2016:10:37:46 +0200] "GET ******.exe HTTP/1.1" 404 16642 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36"

ip - - [19/Jan/2016:10:37:47 +0200] "GET ******.exe HTTP/1.1" 404 16642 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36"

где далее, ничего не грузится. попробую все таки магнитные ссылки через 2-3 домена оставить, посмотрим как будет.

Тестировал разные варианты, правда у меня задача была что бы бот не переходил по ссылке и не видел что там. Проще оказалось - внутренняя ссылка типа ххх.php в закрытой от ботов и индексации папке. Ставил на новые сайты и страницы, в индекс не попали за 2 мес. и ботов не было, значит вроде как работает. Ботов кидает на главную, в файле прописал:

<?php

$url="http://хххх.com"; //тут впишите адрес

$p=$_SERVER['HTTP_USER_AGENT'];

$f=strtolower($p);

$l=array("aport","archive_org","Ask Jeeves","booch","GetSmart","GigaBlast","Gigabot","Googlebot","grub-client","ia_archiver","Jetbot","libwww","Lycos","MnoGoSearch","Yahoo!","msnbot","NaverBot","oBot","Openbot","Yahoo","Yandex","google","mail","rambler");

$b=0;

foreach($l as $z){

if(stripos($f,$z)!==false){

$b=1;

}

}

if($b==0)

{

echo '<script>window.location.href="'.$url.'";</script>';

}

else

{

echo '<script>window.location.href="/index.html";</script>';

}

?>

Бот не перейдёт, так Google Chrome и Яндекс браузер берейдёт.