Установка приоритета обработчика запроса (борьба с Webalta)

73

Мишган

14 ноября 2006, 20:15

867

как не дать вебальте завалить сервак.

Ситуация: регулярно на сайт ходит вебальта и основательно его нагружает (лоад фактор подскакивает до 3-4), забирая около 30 тыс страниц за 4-5 часов. Соответственно нормальные посетители начанают ощущать некий дискомфорт от замедленной работы сайта. А посетители мне более дороги чем вебальта. Выхода вижу два:

1) Простой: забанить вебальту к чертям в роботс.тхт

2) Сложный: каким то образом обслуживать вебальту с низким приоритетом, отдавая только неиспользованные ресурсы.

С простым то все ясно, но вдруг когда нить принесет трафик. А кто нить может подкинуть идеи по поводу второго пункта?

Cервис для оптимизаторов Optimizer Desktop (http://jdev.ru/od/?utm_source=forum.se.ru&utm_medium=signature): мониторинг позиций, учет ссылок. Программа для оптимизаторов и вебмастеров OptiSuit (http://optisuit.ru/?utm_source=forum.se.ru&utm_medium=signature): Optimizer Desktop на Вашем компьютере

82

bonzaza

14 ноября 2006, 20:26

#1

1. теоретически если есть полный доступ к системе (т.е. root доступ со всеми вытекающими) то можно попробовать через iptables (или другие файерволы) разрешать опеределенное количество подключений по определенному свойству пакета либо ip адресу. подробнее можно попробовать на opennet.ru или netfilter.org

2. средствами веб сервера - не встречал (но можно попросить написать модуль на заказ например на apachedev.ru)

3. самый простой вариант - написать им в суппорт с вопросом, что делать (думаю что писали :))

Если не мы, то кто?

36

Eddie

15 ноября 2006, 06:53

#2

Мне больше нравится первый способ... Сомневаюсь, что в ближайшее время вебальта принесет поисковый трафик, сопостовимый с яндексом, рамблером или мейл.ру. Как поисковая система мне нравися вебальта, особенно то, что позволяет самому регулировать релевантность выдачи; но пока проект раскрутится и станет конкурентом другим русскоязычным поисковикам, пройдет еще немало времени.

Берегите свой трафик, особенно если он - платный.

А вообще, можно поиграться с настройками апача, вот тут надо подкоректировать:

StartServers 8

MinSpareServers 5

MaxSpareServers 20

ServerLimit 256

MaxClients 256

MaxRequestsPerChild 4000

</IfModule>

/ru/forum/92472

Блог веселого программиста (http://www.bloged.org)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

822

Andreyka

15 ноября 2006, 08:34

#3

Мишган:
как не дать вебальте завалить сервак.
Ситуация: регулярно на сайт ходит вебальта и основательно его нагружает (лоад фактор подскакивает до 3-4), забирая около 30 тыс страниц за 4-5 часов. Соответственно нормальные посетители начанают ощущать некий дискомфорт от замедленной работы сайта. А посетители мне более дороги чем вебальта. Выхода вижу два:
1) Простой: забанить вебальту к чертям в роботс.тхт
2) Сложный: каким то образом обслуживать вебальту с низким приоритетом, отдавая только неиспользованные ресурсы.

С простым то все ясно, но вдруг когда нить принесет трафик. А кто нить может подкинуть идеи по поводу второго пункта?

Если сервер свой то можно что-то придумать.

Не стоит плодить сущности без необходимости

М

73

Мишган

15 ноября 2006, 12:00

#4

Сервер свой и не Апач

822

Andreyka

15 ноября 2006, 15:49

#5

Ну если сервер поддерживает лимит с одного IP то можно здоровски подрезать крылышки дятлоботам

М

73

Мишган

16 ноября 2006, 07:58

#6

Andreyka:
Ну если сервер поддерживает лимит с одного IP то можно здоровски подрезать крылышки дятлоботам

Я вот думаю: а не проще ли Disallow: / для вебальты, а то ведь по лимиту можно и яндекс с рамой да гуглей послать:-))

Что делать, если ваша email-рассылка попала в спам

Google: E-E-A-T не является фактором ранжирования