Антиграббер контента

123 4
A
На сайте с 04.11.2007
Offline
89
#11

zzzit, благодарю за идею. Про nginx я как то упустил.

Да и поиск по этим словам начал выдавать разумные решения.

Den73
На сайте с 26.06.2010
Offline
523
#12

zzzit

такими штуками можно запросто легитимный трафик порезать, вредные настройки.

eN_Slon
На сайте с 13.02.2007
Offline
159
#13
kxk:
Гасим 95% всяких спаммеров грабберов и тп, даже понимающих куки и аякс редиректы.

какой принцип? в общих чертах.

Парсинг, граббинг, автоматизация всего что вы можете сделать в браузере(и не только) сами. Любое кол-во, любые защиты.
Z
На сайте с 06.09.2012
Offline
129
#14

Den73

Любыми штуками можно порезать легитимный трафик, особенно подключив проксирование и защиты от ддосов, которые все время чистят.

Здесь по крайней мере все просто и если автору нужно будет не ограничивать какой-то трафик, он сможет выдавать ключ зоны через цепочку mapов или функцию и каким-то клиентам ставить лимиты, а каким-то нет.

Черный список врунов и обманщиков: ua-hosting.company, riaas.ru, takewyn.ru, yahoster/cadedic, Andreylab
Z
На сайте с 06.09.2012
Offline
129
#15

Я недавно наткнулся на посетителя, который нагенерировал 500 POST запросов по одному ровно раз в 15 секунд, то есть 100% не руками. Пошел проверить контент и рефереры, а посетитель ничего плохого не делал, все запросы оказались полезные, просто ему так удобнее было. А я забанить его думал :(

Мораль: боты тоже люди и не всегда вредители.

А чистилки трафика 100% бы такое порезали.

Andreyka
На сайте с 19.02.2005
Offline
822
#16

Эффективная защита может быть только на уровне движка, с динамическими хонепотами.

Не стоит плодить сущности без необходимости
Сережка
На сайте с 12.01.2007
Offline
97
#17
asteroid:

Это алгоритм, а какими средствами пользовались для достижения? Скрипт? В БД IP с счётчиком?
По логам, думается, проще всего определить такие запросы.

Написал скрипт на php + mysql

zzzit:
Я недавно наткнулся на посетителя, который нагенерировал 500 POST запросов по одному ровно раз в 15 секунд, то есть 100% не руками. Пошел проверить контент и рефереры, а посетитель ничего плохого не делал, все запросы оказались полезные, просто ему так удобнее было. А я забанить его думал :(
Мораль: боты тоже люди и не всегда вредители.

А чистилки трафика 100% бы такое порезали.

Я тоже иногда зашел на листинг и давай в новой вкладке открывать интересные страницы. Открылось несколько, остальные писали подождите.... Было неудобно.

Тут палка с двух сторон.

Семён-Ядрён (http://seo-case.com/zakaz_996/submit_brief.html) - Качественное семантическое ядро для Вашего сайта!
kxk
На сайте с 30.01.2005
Offline
970
kxk
#18

eN_Slon, В общих чертах по огромной базе ведёться база плохих и хороших не привязываясь принципимально к ip(кроме Азии, таких баним по ip или подсети за малейшие нарушения).

Ваш DEVOPS
eN_Slon
На сайте с 13.02.2007
Offline
159
#19

kxk, понято.

Я о другом способе говорил. Определять по поведению.

kxk
На сайте с 30.01.2005
Offline
970
kxk
#20

eN_Slon, Можем и по поведению парсить и по другим характерным вещам человека, но чуть за другие деньги, для нас нет невозможного, я говорил о самой доступной защите!

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий