zexis

zexis
Рейтинг
388
Регистрация
09.08.2005
madoff:
парсер может и медленно работать =) ему быстрота не сильно важна, главное контент!

Из вопроса ТС можно предположить что ему нужно блокировать только парсеры сильно нагружающие сервер. Медленные парсеры ему не мешают.

TAFF:

Подскажите пожалуйста, существуют ли какие нибудь инструменты для борьбы с любителями нагружать сервер? (парсеры контента например, оффлайн браузеры высасывающие всё и вся и прочее)

Без информации о том что у вас за репозитарий не возможно вам ответить.

Возможно у вас apt_ из дебиан?

Или депозитарий из какого то языка программирования.

А может что то другое.

Странно выглядит, что человек, который предлагает системное администрирование не может задать ясный вопрос.

1) Выставить лимиты в nginx на доступ к динамическим файлам PHP не более 1-2 запросов в секунду с одного IP(limit_req)

2) Можно поставить парсер логов Access_log и банить тех кто пытается искать дырки на сервере по запросам в URL

passwd

mysql

/etc/

../../../..

admin

select

union

и тому подобное, разумеется на вашем сайте не должно быть путей включающих эти строки.

3) поставить антиддос защиту на сервер, которая при выставлении определенных параметров будет защищать от парсеров.

madoff:
закрутят так, что яша и гугл лесом пойдут =)

Боты яши и гугла чаще всего НЕ работают быстро (5-10 запросов в минуту), поэтому они не банятся.

К тому же подсети поисковиков заносятся в белый список и вообще не банятся.

Есть отлаженное решение для защиты от ддос и парсеров.

Обращайтесь. Аська 1699три8679

нет гарантии, что найдете все шелы.

лучше переустанавливать ОС.

Гесер:
А также, кто мешает особо умным флудерам и ддосерам вычислить порты на котором висит nginx и apache и не рубится через nginx. Судя по логам, у меня сейчас так и происходит. Держит.

Апаче должен быть не доступен для доступа из вне.

Или у вас к апачу можо подключится извне на 8080 ?

yurandinyo, спасибо за доставленное удовольствие от прочтения вашей переписки с арбитражем.

Очень забавно получилось.

Похоже на общение слона и моськи.

Кто слон, а кто моська я уточнять не буду, каждый пусть сам решит.

Diversant:
я буду долго ржать когда ТС увидит центральный офис вебманей в Москве )))

Что смешного в их центральном офисе?

Я его не видел, но мне интресно.

Мне как то перевели ворованный ВМ.

Я к мошенничеству был не причастен, но деньги пришлось возвращать.

Вот здесь я писал про это.

/ru/forum/511851

Гесер, занесите IP 98.207.84.75 в фаервол.

iptables -A INPUT -s 98.207.84.75 -j DROP

В чем сложность?

Или у вас IP атакющих много?

Я в своих логах тоже иногда вижу такие строки.

Иногда их бывает довольно много.

Это может быть из за того, что клиент подключился на 80-й порт, но данные тела запроса серверу не передал.

Может у него связь в этот момент оборвалось.

А может это и не клиент, а чей то самописный бот.

myhand:
Нет таких безумных тарифных планов VPS.
Тупой бан на файерволе - не для VPS. Там другие методы нужно использовать.

Если известен список IP с которых идет http-флуд, то их бан через iptables надежное решение.

Есть VPS где количество разрешенных правил не большое (менее 1000), но бывают VPSы и с высоким лимитом.

У меня сейчас на одном VPS от Keyweb за http-флуд в бан iptables попало 26к ip адресов. (за месяц)

На другом выделенном сервере

http://fastvps.ru/dedicatedprice.php

49 euro/месяц

Intel® Core™ i7-920 Quad-Core

8 GB DDR3 RAM

2 x 750 GB HDD SATA2

Через iptables забаненно 60к ботов (за 2 недели)

В обоих случаях серверы не тормозят.

Пока идет атака забаненные IP ботов не разбаниваются.

kxk:
myhand, Лимит коннектов у nginx ну так сокеты кончаться :)

Если боты открывают много соединений и после «трехэтапного рукопожатия» держат их открытыми, то они тоже попадают в бан, если количество соединений превысит некоторый порог.

Каждую минуту программа для этого подсчитывает количество установленных соединений с одного IP.

На каждый тип состояния соединения свой лимит.

kxk:
zexis, Ну да и пойдёт 90 мегабит udp и сервер заблочат без суда и следствия случаев знаю много :) Хетзнер очень нервный датацентр.

Хетзнер, декларируют лимит трафика для выделенного сервера 5 Тб в месяц.

Это нужно неделю ддосить по 90 Мбит без перерыва, что бы привысить лимит 5 Тб.

Если такое случится, то это будет действительно серьезный ддос.

И тогда нужно будет искать дорогою защиту.

Но в большинстве случаев защита за 50$ установленная на мощный сервер отбивает все ддос атаки.

Всего: 4385