Каких ботов стоит забанить (user-agent)

Kristinaspb
На сайте с 01.11.2006
Offline
7
845

И снова здравстуйте)

Хотелось бы (во избежание перерасхода трафика на сервере) "забанить" всячесукю непонятную шушеру, которая ползает по сайтам и запрашивает тонны страниц :)

Т.е,

if (плохой юзер-агент из списка) exit; //ничего не показываем "плохому" боту

Я вот помню, что в логах частенько светились ia_archiver, picsearch. Все логи буквальнь пестрили этими юзер агентами - а толку с них вроде как ноль, один лишь расход трафика и нагрузка на сервер.

Может быть, кто-нибудь поделится списком (или ссылкой на список) подобных ботов ?

Спасибо!

K
На сайте с 21.08.2007
Offline
3
#1

Вот что делают сильные духом вебмастера http://www.webmasterworld.com/robots.txt

E
На сайте с 29.03.2007
Offline
102
#2
Kuckuck:
Вот что делают сильные духом вебмастера http://www.webmasterworld.com/robots.txt

Нефигово зашифровались.

MIND
На сайте с 08.03.2007
Offline
238
#3

Яху можно смело в бан :)

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий