Как защититься от граберов?

Интересно ?

Сложилось впечетление что Данное действо происходит уже продолжительное время.

Сколько же у вас на сайте страниц?

Может быть имеет место не граб. а чтото типа досса? И конечная цель не граб контента а создание повышенной нагрузки на сервер.

надо ограничнить пользователей в коэфициенте число запросов в единицу времени

на уровне апачи для этого есть модуль mod_security

на уровне iptables для этого есть модули connlimit и iplimit

один раз мне эту задачу пришлось решать и на shared хостинге - пришлось написать парсер логов на пхп и поставить его в крон

Появляется периодически. Пару дней грабит, потом неделю тишина. Впервые появился около месяца назад. Сейчас заблокировал несколько адресов, тишина.

Год назад было около 300к, потом перестал считать.

Для ддоса слишком тупой алгоритм. Сегодня сервер загрузился на 45-50% (обычно в это время нагрузка ~10%), на скорости отдачи страниц посетителям это почти не повлияло. Кроме того, грабер подставляет в Referer адрес страницы, на которой была найдена ссылка.

Ограничивать всех посетителей не хочется (сам часто открываю в фоновом режиме несколько страниц).

В iptables можно блокировать посетителей с определенного диапазона адресов и определенного user_agent?

И что делали с этим дальше?

Вобщем-то грамотно настроенный апач с хорошим firewall должен решать такие проблемы практически прозрачно.

Для начала:

1. mod_evasive.

2. csf.

Во втором есть функция бана на основание кол-ва подключений. Скажем если больше 50 (всех статусов, в том числе и WAIT, SYN), то банится.

По user agent можно заблокировать через .htaccess:

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4.0\ \(compatible;\ MSIE\ 5.00;\ Windows\ 98\)$ [NC]

RewriteRule .* - [F,L]

Тот мой скрипт добавлял IP в deny список .htaccess

для блокировки доступа по ip и user_agent на уровне apache можно заюзать mod_rewrite или mod_setenvif

Можно сделать блокировку в .htaccess по комбинации критериев маска ip & user agent, причем без mod_access и mod_setenvif, так я думаю оптимально будет:

RewriteCond %{REMOTE_HOST} ^208\.66\.195\.([0-255])$

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4.0\ \(compatible;\ MSIE\ 5.00;\ Windows\ 98\)$ [NC]

RewriteRule .* - [F,L]

У меня такое работает, но вообще там вместо %{REMOTE_HOST} надо писать %{REMOTE_ADDR} , наверно зависит от настроек сервера.

Вы правы,в моем случае это самое оптимальное решение. Но возникла техническая проблема - перед Апачем у меня стоит Nginx, поэтому REMOTE_ADDR показывает локальный адрес сервера, а HTTP_X_FORWARDED_FOR и HTTP_X_REAL_IP mod_rewrite не видит. Кто-нибудь знает как обойти эту проблему?

А по-моему можно, обратите внимание на следующий метод:

Соотвественно вам надо пробовать:

RewriteCond %{HTTP:HTTP_X_FORWARDED_FOR}

или

RewriteCond %{HTTP:HTTP_X_REAL_IP}

У меня это работает, правда для других параметров.

Если что название переменных окружения можно уточнить в phpinfo.