Как бороться со скачиванием страниц сайта с разных IP?

12 3
E1
На сайте с 11.08.2024
Offline
3
1785

Мой сайт на WordPress периодически посещает программа, скачивает (перебирая в HTML-форме (метод GET) название производителя) страницы с краткими сведениями (год анонса, вес, формат и пр.) об определенных изделиях, и затем использует эти данные на другом сайте (его наименование мне известно). Картинки и прочее не качает. По сути, не конкурент, но все же паразитирует на части моего контента.

IP постоянно разные, не поленился записать и привожу те, которые программа использовала вчера, 01 октября:

23.129.254.35

37.35.40.117

38.154.227.180

45.43.65.205

45.43.180.189

45.131.101.93

45.131.101.138

45.192.143.208

45.192.148.87

45.250.64.32

45.251.63.109

64.43.89.178

64.43.91.143

64.137.31.224

64.137.37.60

64.137.79.221

89.35.80.2

91.246.192.236

103.75.228.169

103.101.90.247

104.143.244.43

104.143.251.87

104.224.90.137

104.238.7.239

104.239.35.56

104.239.41.224

104.239.52.65

104.239.7.55

104.239.108.60

138.128.148.248

142.147.129.87

150.107.224.214

154.73.250.171

154.85.126.4

155.254.49.220

156.238.5.51

156.238.7.186

156.238.10.93

161.123.65.26

161.123.214.89

172.245.157.30

173.239.237.43

173.239.237.240

198.23.147.78

198.46.161.131

198.105.100.90

198.105.100.165

198.105.101.73

198.105.111.95

209.99.135.142

216.173.104.38

217.69.126.34

USER AGENT вот такого вида Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, но программа специально варьирует при каждом запросе версию OS X, Apple Web Kit, Chrome, Safari, чтобы нельзя было заблокировать в HTACCESS

Можете посоветовать, как с этим бороться?

TB
На сайте с 16.01.2009
Offline
261
#1
eugene-1979 :
По сути, не конкурент, но все же паразитирует на части моего контента.

а вы откуда берёте данные для своего сайта? или тоже паразитируете на части чужого контента?)

Artisan
На сайте с 04.03.2005
Offline
376
#2
eugene-1979 :
Можете посоветовать, как с этим бороться?

CAPTCHA, paywall, ...

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
E1
На сайте с 11.08.2024
Offline
3
#3
Artisan #:
CAPTCHA
И то верно. Как-то я не подумал про нее. Не люблю ее, но походу действительно придется добавить.
Антоний Казанский
На сайте с 12.04.2007
Offline
787
#4
eugene-1979 :

Картинки и прочее не качает. По сути, не конкурент, но все же паразитирует на части моего контента.

IP постоянно разные, не поленился записать и привожу те, которые программа использовала вчера, 01 октября:

Вам бурж трафик нужен? Парсят с зарубежный проксей.

Баньте подсетями и тогда ресурс быстро исчерпается.


eugene-1979 #:
И то верно. Как-то я не подумал про нее.

Попробуйте, как вариант вполне может быть. Но если это целевой сбор, то капчу можно ввести в том числе и через антикапч сервис.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
E1
На сайте с 11.08.2024
Offline
3
#5
Антоний Казанский #:
если это целевой сбор

Это целевой сбор, я это знаю достоверно.


Вам бурж трафик нужен? Парсят с зарубежный проксей.

========================
У меня англоязычный сайт.

Антоний Казанский
На сайте с 12.04.2007
Offline
787
#6
eugene-1979 #:
Это целевой сбор, я это знаю достоверно.

Если это целевой сбор, то капчу могут ввести вручную, впрочем и для автоматических режимов есть методика использования антикапч сервисов.

Я бы начал с отсекания доступа для ненужных  ASN.

Антоний Казанский
На сайте с 12.04.2007
Offline
787
#7
eugene-1979 #:
У меня англоязычный сайт.

Тогда начните с капчи. Возможно она решит проблему.

Но если процесс парсинга контролируется, то это не поможет, в любом случае данные заберут.

Artisan
На сайте с 04.03.2005
Offline
376
#8
Антоний Казанский #:
в любом случае данные заберут.

Paywall, я уже писал выше.

Пусть покупают подписку.

Антоний Казанский
На сайте с 12.04.2007
Offline
787
#9
Artisan #:

Paywall, я уже писал выше.

Пусть покупают подписку.

Я думаю, что это бесплатный контент, раз уж там характеристика изделий. 

E1
На сайте с 11.08.2024
Offline
3
#10
Антоний Казанский #:

Я думаю, что это бесплатный контент, раз уж там характеристика изделий. 

Да, бесплатный контент.
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий