Форум Поисковые системы Прочие поисковики

Сумасшедшие боты и способы борьбы с ними

12
del_im
На сайте с 06.05.2012
Offline
15
del_im
#11

Рекомендую: 


SetEnvIf User-Agent MJ12bot MustDie=1

SetEnvIf User-Agent Twiceler MustDie=1

SetEnvIf User-Agent Baiduspider MustDie=1

SetEnvIf User-Agent Slurp MustDie=1

SetEnvIf User-Agent Java MustDie=1

SetEnvIf User-Agent CommentReader MustDie=1

SetEnvIf User-Agent Dolphin MustDie=1

SetEnvIf User-Agent Yeti MustDie=1

SetEnvIf User-Agent discobot MustDie=1

SetEnvIf User-Agent BTWebClient MustDie=1

SetEnvIf User-Agent Tagoobot MustDie=1

SetEnvIf User-Agent Ezooms MustDie=1

SetEnvIf User-Agent igdeSpyder MustDie=1

SetEnvIf User-Agent AhrefsBot MustDie=1

Order allow,deny

Allow from all

Deny from env=MustDie
Я отменяю вашу реальность и заменяю её своей - с блекджеком и шлюхами! - del_im (http://delim.in/)
slavegirl
На сайте с 25.06.2012
Offline
401
slavegirl
#12

Baidu получилось забанить. Была неточность в регулярном выражении, его останавливает следующая запись (в его User-agent в начале, видимо, еще что-то присутствует):


SetEnvIfNoCase User-Agent "^.*Baiduspider" SearchBots

или просто (как описал del_im выше):


SetEnvIfNoCase User-Agent "Baiduspider" SearchBots
🌅 Фото с выпускного ––  https://t.me/Keep2Share/23767
anemak
На сайте с 30.07.2010
Offline
32
anemak
#13

Я обычно редиректом отправляю бота на хозяина ресурса, или все на специальную страницу.

Еще один из способов остановки таких ботов - фейковые статусы, например выдавать боту 502 или 504 ошибку.

лобстеры, Дон Периньон, белуга, Хеннеси ...
chemax
На сайте с 07.01.2009
Offline
206
chemax
#14

Сегодня Ahref с ума сошел.

Качественный хостинг, VPS и сервера. (http://ihc.ru/?ref=569)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий