- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Знаю, тема неоднократно поднималась, но ответа я так и не нашел. Итак...
Дано: сайт и кучка картинок на нем
Необходимо: заблокировать или по крайней мере усложнить возможность пакетной скачки картинок с него менеджерами загрузок типа Teleport, Download Master и тп.
З.Ы. Блокировка в .htacess ботов по юзер-агенту аля " RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR] " мало что дает, тот же Teleport по крайней мере в версии 1.42 представляется как IE, и прекрасно скачивает все что надо. Есть ли еще варианты?
А как Вы себе представляете веб-пользователей? Заходит пользователь на сайт, а ему по одной картинке сайт грузится? Насколько я знаю, браузер что видит то и качает. И сервер отдает в мультипотоке все, что у него запрашивают. Иначе не было бы всяких nginx'ов и других ускорителей.
Если ищете все же решения для своего сайта - ищите на серверной стороне. Но посетители, думаю, будут плеваться.
Необходимо: заблокировать или по крайней мере усложнить возможность пакетной скачки картинок с него менеджерами загрузок типа Teleport, Download Master и тп.
Никак. Все нормальные качалки умеют и рефферер передавать и нужный ЮА подставлять.
заблокировать или по крайней мере усложнить возможность пакетной скачки картинок с него менеджерами загрузок типа Teleport, Download Master и тп.
Для начала, определиться, что считать "пакетной скачкой" (про менеджеров пропускаем - ибо, они как хотят, так и представляются).
Технически для ограничения количества запросов в единицу времени по параметрам (в т.ч. по IP) у nginx есть limit_req (у apache - mod_limitipconn, mod_bw..)
А является ли загрузка изображений из дизайна пакетной скачкой или нет - тут уж решайте сами..
Сам спросил - сам ответил))
Решение есть - качалки как правило делают много хитов за короткий промежуток времени, потому банить всех кто так себя ведет (кроме поисковиков) Здесь скрипт http://usefulscript.ru/avtoban.php
качалки как правило делают много хитов за короткий промежуток времени,
Смешно :)
Качалки будут пытаться качать пока не скачают (у них и настройки есть соответствующие). И это чуть ли не единственное отличие от браузеров, которые могут и забить на попытки получить контент.
Перевожу - такими извращениями ты только юзерам доставишь геммора.
Качалки будут пытаться качать пока не скачают (у них и настройки есть соответствующие).
Да, действительно смешно. Почитать описание скрипта никак? Хост который делает допустим 20 хитов за 10 секунд - банится по айпи в хтацесс и пусть качалка пытается там чтото скачать хоть до 3 пришествия..На счет юзеров - ты видел в природе живого юзера способного сделать теже 20 хитов за 10 сек? Я не видел.
Качалки будут пытаться качать пока не скачают (у них и настройки есть соответствующие). И это чуть ли не единственное отличие от браузеров, которые могут и забить на попытки получить контент.
Перевожу - такими извращениями ты только юзерам доставишь геммора.
отчего ж? у меня на многих сайтах годами стоят приблуды, отправляющие в сад на 2 суток любого, кто сделает больше 60 запросов к контенту в минуту или больше 15 404-х... на некоторых до 5000 посетителей в сутки, ни один не пожаловался...
ты видел в природе живого юзера способного сделать теже 20 хитов за 10 сек? Я не видел.
Ты когда употребляешь термины - ты хотя бы значения узнавай.
хиты=уники.
Ок, будем считать не хиты, а запросы.
20 за 10 говоришь? А 103 за 4 сек - как тебе? И ты думаешь это предел? :)
И опять же - качалку можно настроить на работу в один поток и даже паузы задать и даже перебор проксей. А браузеры, что бы знал, могут работать в несколько. Это хорошо видно в Опере, где это всё настраивается.
у меня на многих сайтах годами стоят приблуды, отправляющие в сад на 2 суток любого, кто сделает больше 60 запросов к контенту в минуту
Палю тему - парсеры могут работать через прокси. Даже динамически их меняя. ;) А юзеры.. Выше см ссылочку.
ни один не пожаловался...
А у них есть такая возможность? А желание? ;)
Ты когда употребляешь термины - ты хотя бы значения узнавай.
хиты=уники.
Ты что, пьный?)) С каких это пор хиты это уники?)
20 за 10 говоришь? А 103 за 4 сек - как тебе? И ты думаешь это предел?
Я говорю о живом юзере, то что забанится какой-то левый робот, которого натравил на меня любопытствующий вебмастер, меня не волнует... точнее, это и требуется от скрипта
И опять же - качалку можно настроить на работу в один поток и даже паузы задать и даже перебор проксей. А браузеры, что бы знал, могут работать в несколько. Это хорошо видно в Опере, где это всё настраивается.
Этим будет заниматься от силы 10% тех кто вздумает скачать сайт (искать подход). Остальные 90% просто переключатся на другую "жертву".
Ты что, пьный?)) С каких это пор хиты это уники?
Да, после вчерашнего голова всё ещё побаливает :)
Действительно, что-то я с прямым углом хостом перепутал 🤪
Хиты - это кол-во посещённых страниц на сайте, не важно сколькими юзерами.
Я говорю о живом юзере, то что забанится какой-то левый робот, которого натравил на меня любопытствующий вебмастер,
Ты ппц.. не догоняешь. Тот робот - и есть "живой юзер". Тоже самое тебе покажет файрбаг в браузере.
Остальные 90% просто переключатся на другую "жертву".
Ты реально считаешь, что проще найти другую жертву, настроить парсер под неё и тд, нежели просто тыкнуть 2 кнопки в том же ДМ?
И на бис: те, кто занимаются парсингом - они найдут способ скачать твой ГС. В большинстве случае даже и искать не будут - всё и так настроено. Вкратце: тянется параллельно через пачку проксей с разными ЮА. Не андестнт?