Форум Сайтостроение Администрирование серверов

Поисковые боты создают нагрузку на vps

HJ
На сайте с 14.02.2006
Offline
274
happy-joker
1241

Есть простенький впс за 1500р\мес

Сегодня начались проблемы с доступностью сайта. Хостер сказал, что нагрузку создают поисковые боты.

Прописал в роботсе Crawl-delay: 120

Сайт по-прежнему лежит.

До этого впс нагрузку держал отлично.

Что можно еще сделать?

NasMnogo-Mbl-Sila
На сайте с 16.11.2010
Offline
41
NasMnogo-Mbl-Sila
#1
happy-joker:
До этого впс нагрузку держал отлично.

Стало быть боты там не тусовались?

Тут выкупают женский трафик по лучшей цене! (http://ladycash.ru/?ref=3828 ) ERA Host – хостинг 5 Гб за 3$, бесплатная раскрутка (http://erahost.ru/?ref=17726)
M
На сайте с 19.03.2012
Offline
21
mrensede
#2

Проблемы не с поисковыми ботами, а настройками ВПС. У меня ВПС за 600 рублей держит посещаемость в 40к хостов в сутки и 150к просмотров.

Это не нормально, что поисковый бот ложит весь ВПС. Такое может быть, только если вы не используете nginx. И работаете на голых стандартных настройках.

Борьба с ботами Яндекс ддосит сайт. Что NGINX + PHP-FPM
Joker-jar
На сайте с 26.08.2010
Offline
154
Joker-jar
#3

Посмотрите в логах частоту запросов и, собственно, что за бот орудует. И, да, стоит разобраться с настройками, боты не должны ложить сайты. Если что, обращайтесь.

M
На сайте с 19.03.2012
Offline
21
mrensede
#4
Joker-jar:
Посмотрите в логах частоту запросов и, собственно, что за бот орудует

Да даже если 50-100 запросов в секунду. Бот не должен ложить ВПС. Это же не виртуальный хостинг:)

Joker-jar
На сайте с 26.08.2010
Offline
154
Joker-jar
#5

Ну наверняка стоят дефолтные настройки Апачевского пула с каким-нибудь MaxClients 10

draff
На сайте с 30.03.2010
Offline
65
draff
#6
happy-joker:

Сегодня начались проблемы с доступностью сайта. Хостер сказал, что нагрузку создают поисковые боты.
Что можно еще сделать?

Закрыть админку сайта,использовав http-авторизацию в nginx.

.htaccess

#Блокируем плохих ботов и роботов
SetEnvIfNoCase user-Agent ^FrontPage [NC,OR]
SetEnvIfNoCase user-Agent ^Java.* [NC,OR]
SetEnvIfNoCase user-Agent ^Microsoft.URL [NC,OR]
SetEnvIfNoCase user-Agent ^MSFrontPage [NC,OR]
SetEnvIfNoCase user-Agent ^Offline.Explorer [NC,OR]
SetEnvIfNoCase user-Agent ^[Ww]eb[Bb]andit [NC,OR]
SetEnvIfNoCase user-Agent ^Zeus [NC]
<limit get="" post="" head="">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</limit>

Проверено на VPS клиента.Тоже были письма от хостера о превышении нагрузки,и лог доступ под 4.5 гиг

Удалю вирус с сайта Джумла! (http://joomlaforum.ru/index.php/topic,254903.0.html)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий