Python более оптимальный,
PHP - классика,
C# - если будете вендорить софт
И все :-)
Достаточно простой скрипт для фильтрации ботов
(function() {
var config = {
'bot': [ 'yandex', 'google', 'mail', 'slurp' ]
}
var browser = navigator.userAgent;
for (var key in config.bot) {
if (browser.toLowerCase().match(config.bot[key])) {
window.location = 'bot.html';
})()
Если User-agent содержит стоп слова ('Yandex', 'Google', etc..) идет переадресация на страницу bot.html, где стоит
<meta http-equiv="refresh" content="1;url=http://google.com">
Развели тут теорию, делать Яше больше не** кроме как подтасовывать совй user-agent :)
http://dr-pepper-seo.blogspot.ru/2012/11/firewall.html
