Антиграббер контента

вы сами ответили на свой вопрос.

Если контента мало - скачают под разными проксями и т.п.

А вот если много - можно отсеивать айпи парсеров после нескольких запросов. Активно. Агрессивно. Тогда проксей не наберутся.

Давно есть идея создать хорошую защиту от ботов, инструмент для определения качества трафика и его фильтрации, продвинутую капчу. Но как всегда нет времени.

Жду пока кто нибудь закажет нечто подобное, чтобы хотя бы начать.

Теоретическая база уже собрана.

Там всего то 500-1000 нужны :)

Я их тупо добавил в .htaccess

Deny from all|host

Пчёлы против мёда?

Я ставил после некоторого числа открытий страниц в минуту по IP, просто выдавал страницу "Слишком много запросов", если в течении часа перевалили некоторую границу посещений с IP, блокировка, которая снималась нажатием на кнопку или через сутки опять открывал доступ. Вроде меньше парсили. Так что пробуйте.

15к страниц + 2к картинок скачали за 3 часа с одного IP и не парились.

Пусть скачивают. Я не против. Но, хотелось бы не по "перезарядке", а с интервалом в несколько секунд. А то уж больно нагло получается.

Можно и забанить, но следить за этим и прописывать руками не хочется.

---------- Добавлено 15.10.2015 в 14:33 ----------

Это алгоритм, а какими средствами пользовались для достижения? Скрипт? В БД IP с счётчиком?

По логам, думается, проще всего определить такие запросы.

asteroid, Есть написанное нашими инженерами решение, но только через проксирование сайта, по ценнику в зависимости от чистого трафика.

Гасим 95% всяких спаммеров грабберов и тп, даже понимающих куки и аякс редиректы.

Можно сделать в nginx, как-то так:

http {

   limit_req_zone  $binary_remote_addr  zone=foo:100k  rate=10r/m;

   server {

      location ...php... {

         limit_req  zone=foo  burst=100;

      }

   }

}

Барста хватит обычным юзерам, а боту после барста будут позволять не больше, чем 10 запросов в минуту.

zzzit, Я могу написать на коленке парсер с прокси и чем это поможет ТС?

Я уже неговорю о профессиональных ворах контента, замечу руками контент давно уже неворуют, а всякие вещи типа Content Downloader и тп давно уже также умеют прокси и разделение потоков.

Если будет проблема с многопоточными парсерами через разные прокси (мало вероятно), можно добавить еще одну зону, в которой резать больше тех, кто после попадания в первую зону долго продолжал парсить:

limit_req_zone  $binary_remote_addr  zone=bar:100k  rate=1r/m;

limit_req  zone=bar  burst=200 nodelay;