Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Запрет бота msn

FM
На сайте с 11.07.2004
Offline
4
FlaMen
925

Подскажите как через htaccess заблокировать msnbot, а то он серваки вешает...

Спасибо.

п/с поиск на форуме что то не работает..

K
На сайте с 31.01.2001
Offline
737
Kost
#1

А почему уже не катит robots.txt ?

А может msn тут ни при чем? Вон, сайт в профайле выдает 500.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
FM
На сайте с 11.07.2004
Offline
4
FlaMen
#2

недоверяю robots.txt

сайт в профайле непричем.

есть сайт у него 20 поддоменов, так этот вшивый бот каждый божий день по 100-1000 старниц за порцию сьедает

сделал пока

if(stristr($HTTP_SERVER_VARS['HTTP_USER_AGENT'],'msnbot')){exit;}

if(stristr($HTTP_SERVER_VARS['HTTP_USER_AGENT'],'yahoo')){exit;}

A
На сайте с 23.10.2003
Offline
196
absolut
#3

Зря. Лучше с ним бороться правильными заголовками.

андроид ТВ (http://qway.com.ua/android_tv) и экшн камеры (qway.com.ua/action-cameras) в Украине.
FM
На сайте с 11.07.2004
Offline
4
FlaMen
#4

absolut, 404 выдавать иму ? или что ?

123av
На сайте с 29.06.2004
Offline
168
123av
#5

я конечно не волшебник , и хтаксесс знаю очень хреново , но мне помогло вот такое

BrowserMatchNoCase "msnbot" msnbot

BrowserMatchNoCase "psbot" psbot

BrowserMatchNoCase "yahoo" yahoo

BrowserMatchNoCase "fastsearch" fastsearch

BrowserMatchNoCase "Teoma" teoma

BrowserMatchNoCase "baiduspider" baiduspider

BrowserMatchNoCase "BecomeBot" becomebot

BrowserMatchNoCase "search-photo.info " searchphotoinfo

deny from env=msnbot

deny from env=psbot

deny from env=yahoo

deny from env=fastsearch

deny from env=teoma

deny from env=baiduspider

deny from env=becomebot

deny from env=searchphotoinfo

делает редирект и выдает 302 , но страница пустая.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий