- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть ли возможность защитить сайт от выкачки, или сейчас это не реально?
Нет такой возможности.
Частично проблема решается проверкой числа обращений к страницам (если они идут с одного IP).
Частично проблема решается проверкой числа обращений к страницам (если они идут с одного IP).
Не решается. Боевой софт умеет устанавливать паузы и подключать прокси-лист.
Где то тут был скрипт, который по заверениям автора припятсвует таким схемам. Но это на мой взгляд сомнительно.
а вот он /ru/forum/981615
Есть ли возможность защитить сайт от выкачки, или сейчас это не реально?
1. Писать в сессию referer и timestamp входа. При наличии 10-15 просмотренных страниц вычислять среднее время нахождения на каждой странице. Если меньше 3 секунд, банить.
2. Посредством js определять разрешение экрана, если меньше 1px на 1px, отправлять ajax'ом запрос к php-странице, которая просто отдаст die();
Но тогда возникает проблема с поисковыми ботами, ведь они тоже выкачивают сайт. Надо вводить исключения по user-agent, которые также можно подменить при выкачке.
Сами какие соображения имеете?
Есть ли возможность защитить сайт от выкачки, или сейчас это не реально?
Если захотят выкачать - выкачают.
В конце концов наймут 100000 таджиков на толоке которые будут просматривать Ваш сайт у себя из дома и присылать заказчику выкачки отдельные страницы, непробиваемый способ от которого не защититься ни капчей, ни ограничением по ИП, ни регистрациями, ничем другим.
С другой стороны если психанете - никто не мешает сделать доступ на сайт по регистрации и сделать просмотр страниц платным.
Так что вопрос в конечном итоге сводится к тому, сколько препятствий Вы готовы причинить потенциально нормальному юзеру для причинения препятствий выкачивальщику, а так же насколько Вы дружелюбны хотите быть с поисковиками.
Более конкретный ответ требует более конкретной постановки задачи.
---------- Добавлено 24.04.2018 в 00:44 ----------
1. Писать в сессию referer и timestamp входа. При наличии 10-15 просмотренных страниц вычислять среднее время нахождения на каждой странице. Если меньше 3 секунд, банить.
2. Посредством js определять разрешение экрана, если меньше 1px на 1px, отправлять ajax'ом запрос к php-странице, которая просто отдаст die();
2) Среднестатический граббер не умеет js, т.к. дорого по ресурсам. Кто там в граббере ajax будет посылать?:) А если граббер умеет js, то он отдаст нормальное разрешение.
С другой стороны если психанете - никто не мешает сделать доступ на сайт по регистрации и сделать просмотр страниц платным.
Страницы закрыты, индексация сворачивается, трафик перестает поступать, покупателей доступа нет.
1) Среднестатический юзер заходит на сайт и открывает 10 статей для просмотра - оппа, бан. А среднестатический граббер обычно вежливо выдерживает паузы и все скачивает.
Вы упустили из внимания среднее время, на каждую страницу 3 секунды для небота аномально. Среднестатистический граббер ничего не выдерживает, если не задать тайм-аут. При тайм-ауте в 5 секунд + 2 секунды на парсинг, 1000 страниц будет парситься почти 2 часа.
2) Среднестатический граббер не умеет js, т.к. дорого по ресурсам. Кто там в граббере ajax будет посылать?:) А если граббер умеет js, то он отдаст нормальное разрешение.
Согласен, про ajax поспешно, т.к. вариант быстрый.
Вы упустили из внимания среднее время, на каждую страницу 3 секунды для небота аномально.
Среднее и будет меньше 3 секунд в описанном кейсе. Заходишь на сайт - открываешь сразу кучу ссылок, плюс браузер иногда предварительно кэширование делает.
А если не дай скажем закрыл браузер где было 50 вкладок, а потом его открыл - там и меньше 1/50 будет время страницы среднее:)
Если еще умножить это на то, что сейчас редко у кого есть выделенный ИП и прибавить к этому странную реализацию DPI у некоторых провайдеров, то количество безвинно забаненных будет неадекватным.
Среднестатистический граббер ничего не выдерживает, если не задать тайм-аут. При тайм-ауте в 5 секунд + 2 секунды на парсинг, 1000 страниц будет парситься почти 2 часа.
Среднестатический граббер всегда работает по таймауту, т.к. иначе он тупо наткнется на какой-нибудь вполне стандартный фильтр от ддос атак. Да и поддержка прокси сейчас мало у кого отсутствует.
Есть способ. Добавьте бэйсик авторизацию :)
edogs, тогда 20-30-40-50, а не 10. Реализация ясна.
Скрипт в моей подписи забирает все страницы сайта. Из 20 сайтов на одном срабатывает защита.