Защита от парсеров

TAFF
На сайте с 28.08.2008
Offline
140
1150

Здравствуйте!

Подскажите пожалуйста, существуют ли какие нибудь инструменты для борьбы с любителями нагружать сервер? (парсеры контента например, оффлайн браузеры высасывающие всё и вся и прочее)

✓ Администрирование (/ru/forum/494299) | ✓ Домены (/ru/forum/298049) | ✓ Продажа аккаунтов narod.ru (/ru/forum/585347)
N
На сайте с 06.05.2007
Offline
419
#1

возьмите решения защищающие от ddos и сильнее закрутите там гайки

Кнопка вызова админа ()
Andreyka
На сайте с 19.02.2005
Offline
820
#2

Да, существуют

Называются системный администратор :)

Не стоит плодить сущности без необходимости
madoff
На сайте с 01.12.2009
Offline
235
#3
netwind:
возьмите решения защищающие от ddos и сильнее закрутите там гайки

закрутят так, что яша и гугл лесом пойдут =)

Администратор Linux,Freebsd. (/ru/forum/494299) построения крупных проектов. ICQ#: 241606.
Boris A Dolgov
На сайте с 04.07.2007
Offline
215
#4

limit_req, limit_conn и прочие друзья

С уважением, Борис Долгов. Администрирование, дешевые лицензии ISPsystem, Parallels, cPanel, DirectAdmin, скины, SSL - ISPlicense.ru (http://www.isplicense.ru/?from=4926)
zexis
На сайте с 09.08.2005
Offline
358
#5

1) Выставить лимиты в nginx на доступ к динамическим файлам PHP не более 1-2 запросов в секунду с одного IP(limit_req)

2) Можно поставить парсер логов Access_log и банить тех кто пытается искать дырки на сервере по запросам в URL

passwd

mysql

/etc/

../../../..

admin

select

union

и тому подобное, разумеется на вашем сайте не должно быть путей включающих эти строки.

3) поставить антиддос защиту на сервер, которая при выставлении определенных параметров будет защищать от парсеров.

madoff:
закрутят так, что яша и гугл лесом пойдут =)

Боты яши и гугла чаще всего НЕ работают быстро (5-10 запросов в минуту), поэтому они не банятся.

К тому же подсети поисковиков заносятся в белый список и вообще не банятся.

Есть отлаженное решение для защиты от ддос и парсеров.

Обращайтесь. Аська 1699три8679

madoff
На сайте с 01.12.2009
Offline
235
#6

парсер может и медленно работать =) ему быстрота не сильно важна, главное контент!

zexis
На сайте с 09.08.2005
Offline
358
#7
madoff:
парсер может и медленно работать =) ему быстрота не сильно важна, главное контент!

Из вопроса ТС можно предположить что ему нужно блокировать только парсеры сильно нагружающие сервер. Медленные парсеры ему не мешают.

TAFF:

Подскажите пожалуйста, существуют ли какие нибудь инструменты для борьбы с любителями нагружать сервер? (парсеры контента например, оффлайн браузеры высасывающие всё и вся и прочее)
iamsens
На сайте с 26.08.2009
Offline
115
#8
TAFF:
Здравствуйте!

Подскажите пожалуйста, существуют ли какие нибудь инструменты для борьбы с любителями нагружать сервер? (парсеры контента например, оффлайн браузеры высасывающие всё и вся и прочее)

желательно находить такие "узкие" места и их оптимизировать

т.к. лочить запросы - это дорога в никуда

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий