Запрет массового скачивания картинок с сайта менеджерами закачек, как?

12 3
M
На сайте с 18.05.2009
Offline
108
1778

Знаю, тема неоднократно поднималась, но ответа я так и не нашел. Итак...

Дано: сайт и кучка картинок на нем

Необходимо: заблокировать или по крайней мере усложнить возможность пакетной скачки картинок с него менеджерами загрузок типа Teleport, Download Master и тп.

З.Ы. Блокировка в .htacess ботов по юзер-агенту аля " RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR] " мало что дает, тот же Teleport по крайней мере в версии 1.42 представляется как IE, и прекрасно скачивает все что надо. Есть ли еще варианты?

П
На сайте с 07.11.2008
Offline
85
#1

А как Вы себе представляете веб-пользователей? Заходит пользователь на сайт, а ему по одной картинке сайт грузится? Насколько я знаю, браузер что видит то и качает. И сервер отдает в мультипотоке все, что у него запрашивают. Иначе не было бы всяких nginx'ов и других ускорителей.

Если ищете все же решения для своего сайта - ищите на серверной стороне. Но посетители, думаю, будут плеваться.

SeVlad
На сайте с 03.11.2008
Offline
1609
#2
m0ntag:
Необходимо: заблокировать или по крайней мере усложнить возможность пакетной скачки картинок с него менеджерами загрузок типа Teleport, Download Master и тп.

Никак. Все нормальные качалки умеют и рефферер передавать и нужный ЮА подставлять.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
IL
На сайте с 20.04.2007
Offline
435
#3
m0ntag:
заблокировать или по крайней мере усложнить возможность пакетной скачки картинок с него менеджерами загрузок типа Teleport, Download Master и тп.

Для начала, определиться, что считать "пакетной скачкой" (про менеджеров пропускаем - ибо, они как хотят, так и представляются).

Технически для ограничения количества запросов в единицу времени по параметрам (в т.ч. по IP) у nginx есть limit_req (у apache - mod_limitipconn, mod_bw..)

А является ли загрузка изображений из дизайна пакетной скачкой или нет - тут уж решайте сами..

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
M
На сайте с 18.05.2009
Offline
108
#4

Сам спросил - сам ответил))

Решение есть - качалки как правило делают много хитов за короткий промежуток времени, потому банить всех кто так себя ведет (кроме поисковиков) Здесь скрипт http://usefulscript.ru/avtoban.php

SeVlad
На сайте с 03.11.2008
Offline
1609
#5
m0ntag:
качалки как правило делают много хитов за короткий промежуток времени,

Смешно :)

Качалки будут пытаться качать пока не скачают (у них и настройки есть соответствующие). И это чуть ли не единственное отличие от браузеров, которые могут и забить на попытки получить контент.

Перевожу - такими извращениями ты только юзерам доставишь геммора.

M
На сайте с 18.05.2009
Offline
108
#6
Смешно
Качалки будут пытаться качать пока не скачают (у них и настройки есть соответствующие).

Да, действительно смешно. Почитать описание скрипта никак? Хост который делает допустим 20 хитов за 10 секунд - банится по айпи в хтацесс и пусть качалка пытается там чтото скачать хоть до 3 пришествия..На счет юзеров - ты видел в природе живого юзера способного сделать теже 20 хитов за 10 сек? Я не видел.

MoMM
На сайте с 16.06.2006
Offline
727
#7
SeVlad:
Качалки будут пытаться качать пока не скачают (у них и настройки есть соответствующие). И это чуть ли не единственное отличие от браузеров, которые могут и забить на попытки получить контент.
Перевожу - такими извращениями ты только юзерам доставишь геммора.

отчего ж? у меня на многих сайтах годами стоят приблуды, отправляющие в сад на 2 суток любого, кто сделает больше 60 запросов к контенту в минуту или больше 15 404-х... на некоторых до 5000 посетителей в сутки, ни один не пожаловался...

SeVlad
На сайте с 03.11.2008
Offline
1609
#8
m0ntag:
ты видел в природе живого юзера способного сделать теже 20 хитов за 10 сек? Я не видел.

Ты когда употребляешь термины - ты хотя бы значения узнавай.

хиты=уники.

Ок, будем считать не хиты, а запросы.

20 за 10 говоришь? А 103 за 4 сек - как тебе? И ты думаешь это предел? :)

И опять же - качалку можно настроить на работу в один поток и даже паузы задать и даже перебор проксей. А браузеры, что бы знал, могут работать в несколько. Это хорошо видно в Опере, где это всё настраивается.

MoMM:
у меня на многих сайтах годами стоят приблуды, отправляющие в сад на 2 суток любого, кто сделает больше 60 запросов к контенту в минуту

Палю тему - парсеры могут работать через прокси. Даже динамически их меняя. ;) А юзеры.. Выше см ссылочку.

MoMM:
ни один не пожаловался...

А у них есть такая возможность? А желание? ;)

M
На сайте с 18.05.2009
Offline
108
#9
SeVlad:
Ты когда употребляешь термины - ты хотя бы значения узнавай.
хиты=уники.

Ты что, пьный?)) С каких это пор хиты это уники?)

Хитом называем загрузку любой страницы сайта при любых условиях. Нажал человек F5 — хит. Нажал Ctrl+N и сайт в новом окне открылся заново — тоже хит. Хиты — аддитивная величина. Путешествуя по сайту, человек может сгенерировать любое количество хитов.
SeVlad:
20 за 10 говоришь? А 103 за 4 сек - как тебе? И ты думаешь это предел?

Я говорю о живом юзере, то что забанится какой-то левый робот, которого натравил на меня любопытствующий вебмастер, меня не волнует... точнее, это и требуется от скрипта

SeVlad:
И опять же - качалку можно настроить на работу в один поток и даже паузы задать и даже перебор проксей. А браузеры, что бы знал, могут работать в несколько. Это хорошо видно в Опере, где это всё настраивается.

Этим будет заниматься от силы 10% тех кто вздумает скачать сайт (искать подход). Остальные 90% просто переключатся на другую "жертву".

SeVlad
На сайте с 03.11.2008
Offline
1609
#10
m0ntag:
Ты что, пьный?)) С каких это пор хиты это уники?

Да, после вчерашнего голова всё ещё побаливает :)

Действительно, что-то я с прямым углом хостом перепутал 🤪

Хиты - это кол-во посещённых страниц на сайте, не важно сколькими юзерами.

m0ntag:
Я говорю о живом юзере, то что забанится какой-то левый робот, которого натравил на меня любопытствующий вебмастер,

Ты ппц.. не догоняешь. Тот робот - и есть "живой юзер". Тоже самое тебе покажет файрбаг в браузере.

m0ntag:
Остальные 90% просто переключатся на другую "жертву".

Ты реально считаешь, что проще найти другую жертву, настроить парсер под неё и тд, нежели просто тыкнуть 2 кнопки в том же ДМ?

И на бис: те, кто занимаются парсингом - они найдут способ скачать твой ГС. В большинстве случае даже и искать не будут - всё и так настроено. Вкратце: тянется параллельно через пачку проксей с разными ЮА. Не андестнт?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий