Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 28.06.2007, 21:27   #11
d1ma
- - - - - - - - - - - - -
 
Аватар для d1ma
 
Регистрация: 18.03.2007
Сообщений: 1,314
Репутация: 20710

По умолчанию Re: Как защититься от граберов?

А по-моему можно, обратите внимание на следующий метод:

Цитата:
There is the special format: %{HTTP:header} where header can be any HTTP MIME-header name. This is looked-up from the HTTP request. Example: %{HTTP:Proxy-Connection} is the value of the HTTP header ``Proxy-Connection:''.
Соотвественно вам надо пробовать:

RewriteCond %{HTTP:HTTP_X_FORWARDED_FOR}
или
RewriteCond %{HTTP:HTTP_X_REAL_IP}

У меня это работает, правда для других параметров.

Если что название переменных окружения можно уточнить в phpinfo.
__________________
...
d1ma вне форума   Ответить с цитированием

Реклама
Старый 28.06.2007, 21:36   #12
Kpd
Академик
 
Регистрация: 12.07.2006
Сообщений: 3,180
Репутация: 68191

ТопикСтартер Re: Как защититься от граберов?

Цитата:
Сообщение от d1ma
Если что название переменных окружения можно уточнить в phpinfo.
в PHPINFO они есть, но условия не проходят, ни с HTTP:, ни без него

Вопрос к знатокам nginx - как будут выглядеть аналогичные выражения для nginx'а?
Kpd вне форума   Ответить с цитированием
Старый 28.06.2007, 21:38   #13
d1ma
- - - - - - - - - - - - -
 
Аватар для d1ma
 
Регистрация: 18.03.2007
Сообщений: 1,314
Репутация: 20710

По умолчанию Re: Как защититься от граберов?

Ещё есть нечто:
Цитата:
There is the special format: %{ENV:variable} where variable can be any environment variable. This is looked-up via internal Apache structures and (if not found there) via getenv() from the Apache server process.
Но с этим я не работал...

Попробуйте разобратся, наверняка ворпос поднимался, так что ищите...
d1ma вне форума   Ответить с цитированием
Старый 28.06.2007, 21:52   #14
Roxis
SysАdmin
 
Аватар для Roxis
 
Регистрация: 19.11.2006
Адрес: Германия
Сообщений: 314
Репутация: 6814
Отправить сообщение для Roxis с помощью ICQ

По умолчанию Re: Как защититься от граберов?

в nginx пока нет вложенных if
но есть такой хак

set $cvar "$http_user_agent#$remote_addr";

if ($cvar ~ "^xxxagent#22\.22\.22") {
return 403;
}
Roxis вне форума   Ответить с цитированием
Старый 28.06.2007, 22:51   #15
Zlo_606ep
Кандидат наук
 
Аватар для Zlo_606ep
 
Регистрация: 14.12.2006
Адрес: Усть-Каменогорск
Сообщений: 424
Репутация: 43893
Отправить сообщение для Zlo_606ep с помощью ICQ Отправить сообщение для Zlo_606ep с помощью Skype™
Социальные сети Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Re: Как защититься от граберов?

По моему защищаться отслеживая заголовки - неэффективно, что мешает скрипту слать любой юзер-агент?
Скорее всего наиболее эффективным будет блокировать ip при закачке большого числа файлов в единицу времени, например, не более 10 в секунду, не более 100 в минуту и т.п. - подобрать с точки зрения здравого смысла, можно сделать страницы-заглушки (на которые не зайдут поисковые роботы и пользователи), при загрузке которых банится ip, также можно отследить порядок загрузки массива страниц (может идет по порядку с карты сайта или по меню или в порядке перелинковки страниц на сайте) - банить при повторении очереди и т.д. и т.п.
Zlo_606ep вне форума   Ответить с цитированием
Старый 29.06.2007, 12:11   #16
Kpd
Академик
 
Регистрация: 12.07.2006
Сообщений: 3,180
Репутация: 68191

ТопикСтартер Re: Как защититься от граберов?

Цитата:
Сообщение от Roxis
в nginx пока нет вложенных if
но есть такой хак
Спасибо.

Цитата:
Сообщение от Zlo_606ep
По моему защищаться отслеживая заголовки - неэффективно, что мешает скрипту слать любой юзер-агент?
В моем случае user_agent постоянный, поэтому чем проще защита - тем лучше. А вообще идея ясна, спасибо.
Kpd вне форума   Ответить с цитированием
Старый 01.07.2007, 12:47   #17
dimaonline
Абитуриент
 
Регистрация: 01.07.2007
Сообщений: 1
Репутация: 10

По умолчанию Re: Как защититься от граберов?

Я бы для начала выяснил, кто тебя грабит. И в этом гугл тебе в помощь, если у тебя действительно уникальный контент вытянуть дубликаты контента не составит труда.

Ну дальше - например, создать контент "Вот эти(и перечислить) - козлы". Если он не модерируют новости, то они эту новость у себя на сайте поставят
dimaonline вне форума   Ответить с цитированием
Старый 01.07.2007, 13:38   #18
Kpd
Академик
 
Регистрация: 12.07.2006
Сообщений: 3,180
Репутация: 68191

ТопикСтартер Re: Как защититься от граберов?

Цитата:
Сообщение от dimaonline
Я бы для начала выяснил, кто тебя грабит. И в этом гугл тебе в помощь, если у тебя действительно уникальный контент вытянуть дубликаты контента не составит труда
Искал, пока не нашёл.

Цитата:
Сообщение от dimaonline
Ну дальше - например, создать контент "Вот эти(и перечислить) - козлы". Если он не модерируют новости, то они эту новость у себя на сайте поставят
Грабят не новости, а статьи (что-то типа энциклопедии). Ну и сам метод борьбы сомнительный
Kpd вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 21:27. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны