zexis

zexis
Рейтинг
388
Регистрация
09.08.2005
Lipcrus:
По email как то не то, давно уже пора сделать и по icq, и на телефон.

Есть много сервисов, которые принятый емейл транслируют по icq, или на СМС.

смотреть логи access.log

Использовать команды

tail

grep

less

или анализатор логов типа webalizer

Александр Фролов:
Понимаете, пока я еще не получил от поставщиков решений ни одного предложения по архитектуре и ценам, так что пока непонятно, дорого это для заказчика или нет.

Думаю, и не получите.

Дешевых, отлаженных систем ERP не существует.

В этой сфере одно исследование работы предприятия и рекомендации по выбору системы могут стоить десятки тысяч $.

Мне тоже было бы интересно как сделать на заказ масштабируемую, отказоустойчивую систему под сложную базу данных за не дорого, что бы она работала без помощи админов.

Но боюсь, такое не возможно.

Был бы шанс это реализовать если делать самому и у вас много опыта.

Тогда можно было бы за несколько месяцев продумать архитектуру, создать ее и отладить

Но на заказ это сделать за недорого не получится.

Александр Фролов:
К сожалению, пока мы не можем позволить себе круглосуточный штат админов - это довольно дорого.

Сколько убытков принесет простой вашего сайта в течении пары часов?

Судя по тому что для вас нанять админов дорого, убыток от простоя будет не огромным.

Разработка распределенной по нескольким ДЦ отказоустойчивой системы будут стоить вряд ли дешевле чем нанять штат админов.

Учитывая сложность вашей базы данных, создание отказоустойчивой системы будет еще более дорогим.

По моему ваши опасения что выйдет из строя сервер преувеличены.

Сервер на качественных комплектующих проработает несколько лет без сбоев с высокой вероятностью.

Для маленького бюджета это достаточная надежность.

Даже яндекс, рамблер и вебмани лежат иногда. А там суточные обороты миллионы.

Вероятность сбоев каналов в ДЦ более вероятны чем сбой одного сервера.

PS

ИМХО, когда убыток от часа простоя вашего сайта превысит 5000 - 10 000 $, только тогда нужно думать об еще большей отказоустойчивости, чем дает один качественный сервер с RAID и двумя блоками питания.

Александр Фролов:
Видимо, не очень большой,

Если бюджет не большой, то качественный, мощный сервер с RAID и двумя блоками питания в хорошем датаценре, обеспечит достаточный уровень отказоустойчивости.

ИМХО распаралеливание работы на несколько серверов – задача не тривиальная, требует существенно больших затрат, а из за сложности и повышенного риска человеческого фактора, в результате надежность может оказаться даже ниже, чем работа на одном сервере.

На какой бюджет вы рассчитываете для создания отказоустойчивого решения?

От какого рода отказов вы хотите защититься?

Если от отказов жестких дисков, то от них надежно защитит RAID с качественным контроллером.

От отказов блоков питания можно защитится взяв корпус с 2-мя блоками питания с возможностью их горячей замены без выключения сервера. Цена такого корпуса 1U Supermicro около 55 000 руб.

Другие отказы железа не особо актуальны, так как качественные сервера на качественных комплектующих работают годами без проблем.

Более актуальной проблемой (по сравнению с отказом качественного железа) может быть проблема с каналами связи в датацентре.

Проблемы с ними более вероятны чем с железом.

По статистике даже в надежных ДЦ 1-3 раза в год происходит какой то перебой, то со светом, то с каналами.

Мне кажется, что приемлемую отказоустойчивость можно обеспечить, если продублировать сайт в 2-х разных ДЦ.

Балансировку нагрузки между ними выполнять например через ДНС. (как вариант, вопрос обсуждается)

А синхронизацию базы данных между разными серверами средствами репликаций БД и средствами приложений.

Но здесь не обойтись без опытного специалиста на постоянной основе.

Raistlin:
farafontov, wget hostace.ru/barf.pl - вам поможет. Устал уже рекламировать этот скрипт. Дай бог здоровья его автору.

Смотрел я этот скрипт.

Он банит те IP которые сделают более N запросов за Т секунд к заданной странице S

Пример

./script example.com -n 3 -t 10 -s "GET /index.php"

Найдет тех кто сделал более 3-х запросов "GET /index.php" в течении 10 секунд.

Функциональность и удобство такой банилки не велика.

Если атаковать начнут другую страницу сайта, то администратору придется вручную менять параметры вызова скрипта. А на это нужно время.

К тому же если атаковать будут случайную страницу, то этот скрипт будет бесполезен.

barf конечно лучше чем нечего, но эффективность его недостаточна.

= = =

Прорекламирую свою разработку по этой теме.

У меня разработан и отлажен довольно мощный по функциям анализатор логов.

В нем реализовано несколько алгоритмов для поиска ботов.

10 000 строк логов обрабатываться около 1-2 секунд.

Вот несколько из реализованных алгоритмов.

1) Найти и забанить те IP которые сделали более N запросов к одной и той же странице за Т секунд, при этом за этот период Т не делали запросов к другим страницам. (страницу задавать в параметрах не нужно, анализатор сам найдет страницу к которой много запросов.)

2) Найти и забанить те IP которые сделали более N запросов к одной и той же странице за Т секунд, при этом могли делать запросы к другим страницам.

3) Найти и забанить те IP которые сделали более N любых запросов за Т секунд.

4) Работает в два этапа. А) найти страницы в логе которые были запрошены сумарно более заданного лимита. То есть эти страницы под ддос атакой. Б) Забанить те IP которые обращались только к страницам найденным на шаге А более Х раз.

5) Когда ддос атаки нет лимиты автоматически повышаются. Когда начинается атака автоматически снижаются. Наличие ддос атаки и ее сила определяется по суммарному количеству кликов в последнюю минуту. Это позволяет никого не банить когда ддос атаки нет и быстрее банить во время ддос атаки.

6) Боты часто используют одно или несколько значений юзерагента или реферрера. Анализатор автоматически находит те юзерагенты и реферреры, котоые используются слишком часто (более заданного лимита) и для этих IP снижает разрешенные лимиты алгоритмов 1,2,3,4.

7) Используются белый список IP поисковиковых ботов, которые не могут быть забаненны.

8) Запросы к динамическим и статическим страницам анализируются отдельно со своими параметрами. Это позволяет более точно задать лимиты и снизить вероятность ложного срабатывания.

9) Также анализируются текущие коннекты из команды netstat. На каждое состояние соединения накладывается свой лимит и банятся те IP которые откроют коннектов более лимита. Во время атаки лимиты на разрешенное количество коннектов с одного IP автоматически снижаются. А когда атаки нет, лимиты повышаются. Наличие ддос атаки определяется по суммарному количеству конектов.

Я описал лишь часть алгоритмов.

Есть еще несколько эффективных алгоритмов, но я не буду их описывать публично, что бы информация о них не попала к ддосерам.

Установка моего анализатора стоит 100$

Обращайтесь. ICQ 1699386-семь-9

Оплату беру в случае отбития всех атак.

Я доволен эффективностью работы защиты описанной выше.

По моему опыту на мощном сервере удается всегда отбивать атаки.

Это ддос.

1) ставить и настраивать nginx

2) поставить программу, которая автоматически будет брать IP ботов из логов и заносить их в фаервол.

Всего: 4385