Защита сервера и анализатор логов апача

какой смысл анализировать лог apache? потом звонить или писать email людям чтоб больше так не делали?

Лучше сразу надежно защитить сервер чтоб потом над ним не трястись. И время от времени просматривать действительно важные логи

К примеру заблокировать их фаерволом :/

Логи вообще полезно смотреть хотя бы потому, что новых поисковиков появляется с каждым годом всё больше и больше - трафика с них нет, а вот грузят сервера они бывают нехило.

Блокировать не выход. Вдург человек сидел за прокси. В результате у большой сети может не быть доступа к сайту

Ну это к примеру. Не обязательно ведь блокировать посетителя, можно блокировать 100% бота, который заходит с сервера плохих ребят.

Один знакомый позвонив в фирму узнать прайс на товар, обиделся когда его послали этот прайс скачать из интернета. Он взял и неделю без перерыва качал этот прайс со своих серверов. После этого прайсы потом ему сообщали по телефону. Но это так к слову...

Дело в том, что любой "доброжелатель" точно также может поступить. А кроме как анализа логов и блокировки фаерволом - я не вижу вариантов как можно защититься.

Но я и не админ, а поэтому буду очень благодарен тем кто поделится своим опытом и мыслями по данному вопросу.

p.s. на сервере стоит freebsd

опытом..

у меня ежеминутный анализ лога и блокировка фаерволом тех кто слишком часто обращается к пхп файлам(поисковики в белом листе).. по истечению периуда авторазблокировка,

от ддоса отлично спасает..

скрипт правда сам писал)

Спасибо за помощь!

Написать скрипт самому проблемы не будет. А вот с оптимальным критерием по которому следует блокировать будет несколько сложнее.

Т.е. смотреть открывает ли посетитель разные урлы или постоянно один?

Или блокировать тех, кто тупо долбится в один и тот же урл не грузя при этом картинок и всего прочего?

cat [...]/access.log | awk ' {print $1 }' | sort | uniq -c | sort -nr > list.txt

в list.txt будет список айпи отсортированный по кол-ву обращений.

просматриваете, находите кто чаще всего обращался к апачу.

потом grep [подозрительный_ip] [...]/access.log | more

и смотрите за его активностью

Если что то не нравится блокируйте фаерволом.

Если идет ДОС на какую то одну страницу, то досящих очень легко засечь похожим скриптом

сat [...]/access.log | grep [плохой урл] | awk ' {print $1 }' | sort | uniq -c | sort -nr > list.txt

Под подозрением те, кто чаще всего дергает апач - только не забаньте поисковых роботов :))

qwartyr, читать весь лог? ну да, это ручная проверка после боя, а автоматизация лучше, зачем копаться в прошлом, нужно следить за настоящим, и желательно не проводя время в шеле ))

Как уже говорил, яндекса и гугла в белый лист. Они самые резвые )

Один фаил лога должен быть, общий..

скрипт, можно даже на пхп, без крона, читает раз в минуту размер файла, если увеличился то читает эту разницу построчно (как раз новые строки за минуту), потом смотрим только запросы к пхп файлам и подсчитываем сколько запросов к ним с одного ип. В среднем в секунду оптимально было 1-2 запроса, чтобы другие поисковики не побанить, от ддоса тоже спасает)) Ну при привышении отправлять в iptables, а после 24часов бана разблокировать, также автоматом)

PS. Яндекс у меня 4 запроса в секунду делал, негодяй какой )

Для apache есть модуль mod_security, который умеет складывать в лог и блокировать, если такая возможность необходима, все запросы к веб-серверу. В комплекте идет большой список «вредных» сигнатур для различных атак, типа sql injection, xss, shell command injection, и.т.д., который на практике приходится чистить, дабы избежать ложных срабатываний.

Если говорить про превентивную защиту сервера в целом, то можно использовать какую-нибудь IDS — тот же Snort.

У меня работает критерий: больше 10 пар запросов с интервалом меньше секунды в паре - бан. Пока не жалуюсь.

Кстати, нормальные поисковки не хамят, разве что Яха; дык с него все равно трафика ноль. Но есть и белый список поисковок - на всякий случай.