Закрываем сайт от Mail.ru

41

koder

4 августа 2010, 07:57

2128

День добрый!

Есть проблема и она в следующем - есть сеть сайтов и эта сеть создает слишком большую нагрузку на сервере хостера. Нагрузку нужно снизить и для этого решено было закрыть доступ к сети ПС Mail.ru т.к. очень уже активно бот лазит по сайтам, а трафа все-равно 0.

Сделал следующее

В .htaccess

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Mail\.Ru [NC]

RewriteRule ^.* - [F,L]

По идее ж бот должен получать 403 при попытке зайти, правильно? А все-равно пробивается..

Есть еще какие-то способы?

132

Александр Сухоруков

4 августа 2010, 08:04

#1

попробуйте в robots.txt прописать:

User-agent: Mail.Ru

Disallow: /

86

Fr3d

4 августа 2010, 08:07

#2

можно так, в самый верх

<?

if($_SERVER['USER_AGENT']=='Mail.ru'){exit;}

?>

Webmoney кредиты - это WMCoin.ru (http://wmcoin.ru)

Y

198

yaltabes

4 августа 2010, 09:07

#3

Я конечно извиняюсь, и почти согласен, что с с майла траф не густой, но на паре моих проектов, он составляет приблизительно 20% от всего трафа, а это не мало ....

K

737

Kost

4 августа 2010, 09:10

#4

RIU:
User-agent: Mail.Ru
Disallow: /

Кстати, еще есть директива Crawl-delay.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

106

hustle

4 августа 2010, 09:55

#5

а смысл? не проще директиву crawl-delay прописать? у меня постепенно траффик с мыла растет, медленно, но верно

Добавь свою компанию (http://gmstar.ru) на GMSTAR.RU - Товары, услуги, компании, отзывы по всем сферам деятельности. Бесплатные инструменты для продвижения компании.

M

2

midle

4 августа 2010, 10:03

#6

Можно так

http://jcornelius.com/articles/deny-access-by-user-agent/

Хотя лучше, как предложил RIU, через robots.txt (в корень каждого сайта нужно залить)

41

koder

4 августа 2010, 10:12

#7

А мейл смотрит crawl-delay ? Вроде нет, т.к. к страницам обращается чаще чем там выставлено

119

elkini

5 августа 2010, 20:04

#8

Crawl-delay - директива robots.txt, которую придумал Яндекс

делать в .htaccess например так:

Order Allow,Deny

Allow from all

Deny from 217.69.134.56

Deny from 217.69.133.34

Deny from 94.100.181.243

106

hustle

6 августа 2010, 08:00

#9

накаркал. траффик с мэйла упал до практически нуля, даже не, сайт вообще выпал. где у них платоны?! :)

A1

89

andreyv1

6 августа 2010, 13:26

#10

В таком случае, может быть стоит сменить хостера???

Или если сетка состоит из посещаемых сайтов, то есть смысл взять выделенный сервер???

Курс биткоина превысил $50 тысяч

Переиграть и победить: как анализировать конкурентов для продвижения сайта