Форум Сайтостроение Администрирование серверов

Как защититься от граберов?

12
K
На сайте с 12.07.2006
Offline
295
Kpd
#11
d1ma:
Если что название переменных окружения можно уточнить в phpinfo.

в PHPINFO они есть, но условия не проходят, ни с HTTP:, ни без него :(

Вопрос к знатокам nginx - как будут выглядеть аналогичные выражения для nginx'а?

d1ma
На сайте с 18.03.2007
Offline
102
d1ma
#12

Ещё есть нечто:

There is the special format: %{ENV:variable} where variable can be any environment variable. This is looked-up via internal Apache structures and (if not found there) via getenv() from the Apache server process.

Но с этим я не работал...

Попробуйте разобратся, наверняка ворпос поднимался, так что ищите...

Roxis
На сайте с 19.11.2006
Offline
40
Roxis
#13

в nginx пока нет вложенных if

но есть такой хак

set $cvar "$http_user_agent#$remote_addr";

if ($cvar ~ "^xxxagent#22\.22\.22") {

return 403;

}

Zlo_606ep
На сайте с 14.12.2006
Offline
129
Zlo_606ep
#14

По моему защищаться отслеживая заголовки - неэффективно, что мешает скрипту слать любой юзер-агент?

Скорее всего наиболее эффективным будет блокировать ip при закачке большого числа файлов в единицу времени, например, не более 10 в секунду, не более 100 в минуту и т.п. - подобрать с точки зрения здравого смысла, можно сделать страницы-заглушки (на которые не зайдут поисковые роботы и пользователи), при загрузке которых банится ip, также можно отследить порядок загрузки массива страниц (может идет по порядку с карты сайта или по меню или в порядке перелинковки страниц на сайте) - банить при повторении очереди и т.д. и т.п.

K
На сайте с 12.07.2006
Offline
295
Kpd
#15
Roxis:
в nginx пока нет вложенных if
но есть такой хак

Спасибо.

Zlo_606ep:
По моему защищаться отслеживая заголовки - неэффективно, что мешает скрипту слать любой юзер-агент?

В моем случае user_agent постоянный, поэтому чем проще защита - тем лучше. А вообще идея ясна, спасибо.

D
На сайте с 01.07.2007
Offline
0
dimaonline
#16

Я бы для начала выяснил, кто тебя грабит. И в этом гугл тебе в помощь, если у тебя действительно уникальный контент вытянуть дубликаты контента не составит труда.

Ну дальше - например, создать контент "Вот эти(и перечислить) - козлы". Если он не модерируют новости, то они эту новость у себя на сайте поставят :)

K
На сайте с 12.07.2006
Offline
295
Kpd
#17
dimaonline:
Я бы для начала выяснил, кто тебя грабит. И в этом гугл тебе в помощь, если у тебя действительно уникальный контент вытянуть дубликаты контента не составит труда

Искал, пока не нашёл.

dimaonline:
Ну дальше - например, создать контент "Вот эти(и перечислить) - козлы". Если он не модерируют новости, то они эту новость у себя на сайте поставят

Грабят не новости, а статьи (что-то типа энциклопедии). Ну и сам метод борьбы сомнительный :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий