- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть ли возможность защитить сайт от выкачки, или сейчас это не реально?
Нет такой возможности.
Частично проблема решается проверкой числа обращений к страницам (если они идут с одного IP).
Частично проблема решается проверкой числа обращений к страницам (если они идут с одного IP).
Не решается. Боевой софт умеет устанавливать паузы и подключать прокси-лист.
Где то тут был скрипт, который по заверениям автора припятсвует таким схемам. Но это на мой взгляд сомнительно.
а вот он /ru/forum/981615
Есть ли возможность защитить сайт от выкачки, или сейчас это не реально?
1. Писать в сессию referer и timestamp входа. При наличии 10-15 просмотренных страниц вычислять среднее время нахождения на каждой странице. Если меньше 3 секунд, банить.
2. Посредством js определять разрешение экрана, если меньше 1px на 1px, отправлять ajax'ом запрос к php-странице, которая просто отдаст die();
Но тогда возникает проблема с поисковыми ботами, ведь они тоже выкачивают сайт. Надо вводить исключения по user-agent, которые также можно подменить при выкачке.
Сами какие соображения имеете?
Есть ли возможность защитить сайт от выкачки, или сейчас это не реально?
Если захотят выкачать - выкачают.
В конце концов наймут 100000 таджиков на толоке которые будут просматривать Ваш сайт у себя из дома и присылать заказчику выкачки отдельные страницы, непробиваемый способ от которого не защититься ни капчей, ни ограничением по ИП, ни регистрациями, ничем другим.
С другой стороны если психанете - никто не мешает сделать доступ на сайт по регистрации и сделать просмотр страниц платным.
Так что вопрос в конечном итоге сводится к тому, сколько препятствий Вы готовы причинить потенциально нормальному юзеру для причинения препятствий выкачивальщику, а так же насколько Вы дружелюбны хотите быть с поисковиками.
Более конкретный ответ требует более конкретной постановки задачи.
---------- Добавлено 24.04.2018 в 00:44 ----------
1. Писать в сессию referer и timestamp входа. При наличии 10-15 просмотренных страниц вычислять среднее время нахождения на каждой странице. Если меньше 3 секунд, банить.
2. Посредством js определять разрешение экрана, если меньше 1px на 1px, отправлять ajax'ом запрос к php-странице, которая просто отдаст die();
2) Среднестатический граббер не умеет js, т.к. дорого по ресурсам. Кто там в граббере ajax будет посылать?:) А если граббер умеет js, то он отдаст нормальное разрешение.
С другой стороны если психанете - никто не мешает сделать доступ на сайт по регистрации и сделать просмотр страниц платным.
Страницы закрыты, индексация сворачивается, трафик перестает поступать, покупателей доступа нет.
1) Среднестатический юзер заходит на сайт и открывает 10 статей для просмотра - оппа, бан. А среднестатический граббер обычно вежливо выдерживает паузы и все скачивает.
Вы упустили из внимания среднее время, на каждую страницу 3 секунды для небота аномально. Среднестатистический граббер ничего не выдерживает, если не задать тайм-аут. При тайм-ауте в 5 секунд + 2 секунды на парсинг, 1000 страниц будет парситься почти 2 часа.
2) Среднестатический граббер не умеет js, т.к. дорого по ресурсам. Кто там в граббере ajax будет посылать?:) А если граббер умеет js, то он отдаст нормальное разрешение.
Согласен, про ajax поспешно, т.к. вариант быстрый.
Вы упустили из внимания среднее время, на каждую страницу 3 секунды для небота аномально.
Среднее и будет меньше 3 секунд в описанном кейсе. Заходишь на сайт - открываешь сразу кучу ссылок, плюс браузер иногда предварительно кэширование делает.
А если не дай скажем закрыл браузер где было 50 вкладок, а потом его открыл - там и меньше 1/50 будет время страницы среднее:)
Если еще умножить это на то, что сейчас редко у кого есть выделенный ИП и прибавить к этому странную реализацию DPI у некоторых провайдеров, то количество безвинно забаненных будет неадекватным.
Среднестатистический граббер ничего не выдерживает, если не задать тайм-аут. При тайм-ауте в 5 секунд + 2 секунды на парсинг, 1000 страниц будет парситься почти 2 часа.
Среднестатический граббер всегда работает по таймауту, т.к. иначе он тупо наткнется на какой-нибудь вполне стандартный фильтр от ддос атак. Да и поддержка прокси сейчас мало у кого отсутствует.
Есть способ. Добавьте бэйсик авторизацию :)
edogs, тогда 20-30-40-50, а не 10. Реализация ясна.
Скрипт в моей подписи забирает все страницы сайта. Из 20 сайтов на одном срабатывает защита.