chaturanga

Рейтинг
127
Регистрация
22.08.2012

Опять, же самое примитивное - посмотрите не идут ли запросы с того же ДЦ, где они хостятся. Да и вообще закройте доступ со всех автономок хетнера, ovh, лизвеба, зомро, do и т.п. - живые пользователи оттуда не придут.

Совсем кривой вариант (если парсят не headless-браузерными ботами) - навесьте проверку js/testcookie, только поисковых ботов не порежьте. Опять же спрячьтесь за cf - вдруг будет достаточно.

Конечно, особо прошаренные будут парсить через, например, гугл-прокси, но опять же всё индивидуально, пока не проанализируешь трафик, выводов и рекомендаций не сделать.

Weblady #:

Как найти, откуда идет парсинг?

Здесь однозначного рецепта нет.
Анализировать трафик веб-сервера в первую очередь. Критерии всегда есть. Конечно, если страниц мало, то есть парсится 1-2 в день, то шансов не много. У меня, в основном, опыт с сайтами миллионниками - там это несколько проще.

Также бывает, что страницы не парсятся, а просто используется реверс-прокси, то есть сайт-паразит просто транслирует контент с сайта донора, даже без хранения его у себя. В таком случае достаточно просто в режиме tail-инга отследить запрос в логе.

Weblady #:

если это вообще не абузоустойчивый хостинг

В вопросах авторского права любой вменяемый хостинг (по сути, кроме тех которыми занимаются в перерывах между парами) абузоустойчивый.

Хотите пытаться бороться с парсингом - ищите откуда идёт парсинг (пул адресов, user-агенты и т.п.). Когда гарантированно (со 100% уверенностью) найдёте, то загрязните для них контент - слепляйте местами слова, заменяйте "омографические" буквы, но без особого усердия - не дайте быстро понять парсеровщикам, что контент испорчен. Добейтесь, того, чтобы они сами не захотели прилагать для чистки контента усилий больше, чем его ценность.

А все жалобы - это пустая трата времени. У меня был случай, когда представитель фонда ВикиМедиа жаловался в OVH. Кроме настойчивых уведомлений в кабинете и по e-mail никаких санкций применено не было.

chaturanga #:

Если очень хочется наступить на грабли, то
https://regex101.com/r/znDnRq/1

Back reference тут нафиг не нужен, всё проще

https://regex101.com/r/pLL162/1

Андрей се0 :

например, Гугл Ньюз? 

https://news.google.com/

не блокируется

Андрей се0 :

Как обстоят дела с блокировками? Есть ли у вас свой РКН?)

Блокируют провайдеры на основании списков предоставляемых белгиэ.

webinfo #:

Вы не понимаете. Никто ничего не переопределяет, а заключает договор, условия которого принимают обе договаривающиеся стороны, в соответствии с законами того самого правового государства. Система в лице судов и надзирающих органов работает на основе императивных норм, прописанных в законодательстве,  а коммерческий договор заключается по соглашению сторон.

Вы не хотите замечать, что в случае определения авторства контента возникает 3-я сторона. И в тот момент, когда хостер берет на себя право определить авторство он уже регулирует взаимоотношения третьих лиц.
Отсюда 2 вопроса:
Какой пункт в договоре может позволить хостеру наделять себя правом определить авторство?
Какой пункт в договоре может позволить хостеру  наделять себя правом регулировать взаимоотношения третьих лиц?

webinfo #:

Не наделяет. Просто договор заключается с принятием условий, которые в нём прописаны. А там могут быть прописаны самые разные условия.

То есть хостер переопределяет правовые атрибуты вышестоящей системы, тем самым нарушая принципы верховенства права. Это и значит, что он наделяет себя полномочиями, которых у него нет и быть не может (в правовом государстве).

Dambo #:

а среди нарушений встречались и нарушение авторских прав

Вот только хостер не имеет права выносить оценку того нарушены авторские права или нет. В противном случае он наделяет себя полномочиями суда/ркн.

lutskboy :

Привет

есть ссылка

<a id="download" href="https://сайт.mp4">Click here to download</a> или

<a href="https://сайт.mp4"  id="download" >Click here to download</a>

как регуляркой как ссылку достать у которой   id="download" ?

Если очень хочется наступить на грабли, то
https://regex101.com/r/znDnRq/1
а, вообще, здесь ссылки надо через DOMDocument / getElementById доставать

wwizard :

Что не нравится людям когда на него переходят?

Зашёл ещё раз, теперь на страницу каталога/выбора.

1) Нет подсказок. Рядовой обыватель не знает различия инвертора и on-off.

2) Порядок фильтров. Нафига почти в шапке показатель производительности?  Опять же или разжуйте это, либо уберите вообще под кат. То же касается и хладагента.
Навскидку порядок должен быть такой: 
 - Стоимость + чекбокс скидка / акция
 - Производитель
 - Тип
 - Размер помещения
 - Уровень шума (от / до) внутреннего блока
 - Аналогично для наружного (для особо шумных предложите виброопоры)
 - Размеры обоих блоков (для наружного не помешает вес)
 - Гарантийный период

Поставьте себя на место рядового покупателя, который уверен, что кондиционер забирает воздух для охлаждения снаружи и вода капает из наружного блока.

3) Мануал в виде pdf (для таких зануд как я) будет плюсиком. И уж, конечно, данные на сайте должны совпадать с данными в мануале :)

Всего: 378