Опять, же самое примитивное - посмотрите не идут ли запросы с того же ДЦ, где они хостятся. Да и вообще закройте доступ со всех автономок хетнера, ovh, лизвеба, зомро, do и т.п. - живые пользователи оттуда не придут.
Совсем кривой вариант (если парсят не headless-браузерными ботами) - навесьте проверку js/testcookie, только поисковых ботов не порежьте. Опять же спрячьтесь за cf - вдруг будет достаточно.
Конечно, особо прошаренные будут парсить через, например, гугл-прокси, но опять же всё индивидуально, пока не проанализируешь трафик, выводов и рекомендаций не сделать.
Здесь однозначного рецепта нет. Анализировать трафик веб-сервера в первую очередь. Критерии всегда есть. Конечно, если страниц мало, то есть парсится 1-2 в день, то шансов не много. У меня, в основном, опыт с сайтами миллионниками - там это несколько проще.
Также бывает, что страницы не парсятся, а просто используется реверс-прокси, то есть сайт-паразит просто транслирует контент с сайта донора, даже без хранения его у себя. В таком случае достаточно просто в режиме tail-инга отследить запрос в логе.
В вопросах авторского права любой вменяемый хостинг (по сути, кроме тех которыми занимаются в перерывах между парами) абузоустойчивый.
Хотите пытаться бороться с парсингом - ищите откуда идёт парсинг (пул адресов, user-агенты и т.п.). Когда гарантированно (со 100% уверенностью) найдёте, то загрязните для них контент - слепляйте местами слова, заменяйте "омографические" буквы, но без особого усердия - не дайте быстро понять парсеровщикам, что контент испорчен. Добейтесь, того, чтобы они сами не захотели прилагать для чистки контента усилий больше, чем его ценность.
А все жалобы - это пустая трата времени. У меня был случай, когда представитель фонда ВикиМедиа жаловался в OVH. Кроме настойчивых уведомлений в кабинете и по e-mail никаких санкций применено не было.
Вы не понимаете. Никто ничего не переопределяет, а заключает договор, условия которого принимают обе договаривающиеся стороны, в соответствии с законами того самого правового государства. Система в лице судов и надзирающих органов работает на основе императивных норм, прописанных в законодательстве, а коммерческий договор заключается по соглашению сторон.
Вы не хотите замечать, что в случае определения авторства контента возникает 3-я сторона. И в тот момент, когда хостер берет на себя право определить авторство он уже регулирует взаимоотношения третьих лиц. Отсюда 2 вопроса: Какой пункт в договоре может позволить хостеру наделять себя правом определить авторство? Какой пункт в договоре может позволить хостеру наделять себя правомрегулировать взаимоотношения третьих лиц?
Не наделяет. Просто договор заключается с принятием условий, которые в нём прописаны. А там могут быть прописаны самые разные условия.
То есть хостер переопределяет правовые атрибуты вышестоящей системы, тем самым нарушая принципы верховенства права. Это и значит, что он наделяет себя полномочиями, которых у него нет и быть не может (в правовом государстве).
Зашёл ещё раз, теперь на страницу каталога/выбора.
1) Нет подсказок. Рядовой обыватель не знает различия инвертора и on-off.
2) Порядок фильтров. Нафига почти в шапке показатель производительности? Опять же или разжуйте это, либо уберите вообще под кат. То же касается и хладагента. Навскидку порядок должен быть такой: - Стоимость + чекбокс скидка / акция - Производитель - Тип - Размер помещения - Уровень шума (от / до) внутреннего блока - Аналогично для наружного (для особо шумных предложите виброопоры) - Размеры обоих блоков (для наружного не помешает вес) - Гарантийный период
Поставьте себя на место рядового покупателя, который уверен, что кондиционер забирает воздух для охлаждения снаружи и вода капает из наружного блока.
3) Мануал в виде pdf (для таких зануд как я) будет плюсиком. И уж, конечно, данные на сайте должны совпадать с данными в мануале :)
Опять, же самое примитивное - посмотрите не идут ли запросы с того же ДЦ, где они хостятся. Да и вообще закройте доступ со всех автономок хетнера, ovh, лизвеба, зомро, do и т.п. - живые пользователи оттуда не придут.
Совсем кривой вариант (если парсят не headless-браузерными ботами) - навесьте проверку js/testcookie, только поисковых ботов не порежьте. Опять же спрячьтесь за cf - вдруг будет достаточно.
Конечно, особо прошаренные будут парсить через, например, гугл-прокси, но опять же всё индивидуально, пока не проанализируешь трафик, выводов и рекомендаций не сделать.
Как найти, откуда идет парсинг?
Здесь однозначного рецепта нет.
Анализировать трафик веб-сервера в первую очередь. Критерии всегда есть. Конечно, если страниц мало, то есть парсится 1-2 в день, то шансов не много. У меня, в основном, опыт с сайтами миллионниками - там это несколько проще.
Также бывает, что страницы не парсятся, а просто используется реверс-прокси, то есть сайт-паразит просто транслирует контент с сайта донора, даже без хранения его у себя. В таком случае достаточно просто в режиме tail-инга отследить запрос в логе.
если это вообще не абузоустойчивый хостинг
В вопросах авторского права любой вменяемый хостинг (по сути, кроме тех которыми занимаются в перерывах между парами) абузоустойчивый.
Хотите пытаться бороться с парсингом - ищите откуда идёт парсинг (пул адресов, user-агенты и т.п.). Когда гарантированно (со 100% уверенностью) найдёте, то загрязните для них контент - слепляйте местами слова, заменяйте "омографические" буквы, но без особого усердия - не дайте быстро понять парсеровщикам, что контент испорчен. Добейтесь, того, чтобы они сами не захотели прилагать для чистки контента усилий больше, чем его ценность.
А все жалобы - это пустая трата времени. У меня был случай, когда представитель фонда ВикиМедиа жаловался в OVH. Кроме настойчивых уведомлений в кабинете и по e-mail никаких санкций применено не было.
Если очень хочется наступить на грабли, то
https://regex101.com/r/znDnRq/1
Back reference тут нафиг не нужен, всё проще
https://regex101.com/r/pLL162/1
например, Гугл Ньюз?
https://news.google.com/
не блокируется
Как обстоят дела с блокировками? Есть ли у вас свой РКН?)
Блокируют провайдеры на основании списков предоставляемых белгиэ.
Вы не понимаете. Никто ничего не переопределяет, а заключает договор, условия которого принимают обе договаривающиеся стороны, в соответствии с законами того самого правового государства. Система в лице судов и надзирающих органов работает на основе императивных норм, прописанных в законодательстве, а коммерческий договор заключается по соглашению сторон.
Вы не хотите замечать, что в случае определения авторства контента возникает 3-я сторона. И в тот момент, когда хостер берет на себя право определить авторство он уже регулирует взаимоотношения третьих лиц.
Отсюда 2 вопроса:
Какой пункт в договоре может позволить хостеру наделять себя правом определить авторство?
Какой пункт в договоре может позволить хостеру наделять себя правом регулировать взаимоотношения третьих лиц?
Не наделяет. Просто договор заключается с принятием условий, которые в нём прописаны. А там могут быть прописаны самые разные условия.
То есть хостер переопределяет правовые атрибуты вышестоящей системы, тем самым нарушая принципы верховенства права. Это и значит, что он наделяет себя полномочиями, которых у него нет и быть не может (в правовом государстве).
а среди нарушений встречались и нарушение авторских прав
Вот только хостер не имеет права выносить оценку того нарушены авторские права или нет. В противном случае он наделяет себя полномочиями суда/ркн.
Привет
есть ссылка
<a id="download" href="https://сайт.mp4">Click here to download</a> или
<a href="https://сайт.mp4" id="download" >Click here to download</a>
как регуляркой как ссылку достать у которой id="download" ?
Если очень хочется наступить на грабли, то
https://regex101.com/r/znDnRq/1
а, вообще, здесь ссылки надо через DOMDocument / getElementById доставать
Что не нравится людям когда на него переходят?
Зашёл ещё раз, теперь на страницу каталога/выбора.
1) Нет подсказок. Рядовой обыватель не знает различия инвертора и on-off.
2) Порядок фильтров. Нафига почти в шапке показатель производительности? Опять же или разжуйте это, либо уберите вообще под кат. То же касается и хладагента.
Навскидку порядок должен быть такой:
- Стоимость + чекбокс скидка / акция
- Производитель
- Тип
- Размер помещения
- Уровень шума (от / до) внутреннего блока
- Аналогично для наружного (для особо шумных предложите виброопоры)
- Размеры обоих блоков (для наружного не помешает вес)
- Гарантийный период
Поставьте себя на место рядового покупателя, который уверен, что кондиционер забирает воздух для охлаждения снаружи и вода капает из наружного блока.
3) Мануал в виде pdf (для таких зануд как я) будет плюсиком. И уж, конечно, данные на сайте должны совпадать с данными в мануале :)