Парсят сайт с Cloudflare

Arakss
На сайте с 24.03.2016
Offline
36
6202

Заметил что парсят мой развлекательный сайт, который часто обновляется.

Как только опубликована новость - в течении 5-10 секунд она появляется на другом сайте.

Вставил в тело странички скрипт вывода IP, баню их...

Похоже на борьбу с ветряными мельницами.

Интересно то, что как только я блокирую IP парсера, сразу в ответку блокируется IP

c которого я заходил на его сайт.:mad:

Выходит битва Cloudflare против браузера TOR.

Есть ли у кого список IP адресов или подсетей Cloudflare?

Очевидно, что этот парсер, не только мой сайт копирует (да, создает полные копии страничек) даже некоторые ссылки не потертые остаются.

Яндекс же отлично его индексирует. Написал Платонам, посмотрим что ответят.

Dokkino.org (http://dokkino.org)
MoMM
На сайте с 16.06.2006
Offline
Модератор724
#1

Вы неправильно реагируете.

Надо копить айпишники и роботу с них случайным образом скармливать какой-нибудь левый контент - что-нибудь противозаконное: если западное, то лучше всего с нарушением авторских прав, или с каким-нибудь ИГИЛом, если российские/ссср-овские, то что-нибудь про методы убийства, террор или наркоту, а как скормили - сразу жалобу на нелегальный контент со скриншотом регистратору домена... замучается домены менять...

trahtor
На сайте с 06.12.2005
Offline
395
#2
MoMM:
Вы неправильно реагируете.

Надо копить айпишники и роботу с них случайным образом скармливать какой-нибудь левый контент - что-нибудь противозаконное: если западное, то лучше всего с нарушением авторских прав, или с каким-нибудь ИГИЛом, если российские/ссср-овские, то что-нибудь про методы убийства, террор или наркоту, а как скормили - сразу жалобу на нелегальный контент со скриншотом регистратору домена... замучается домены менять...

Жесть жестяйшая. С тобой лучше не ссорится..

melkozaur
На сайте с 06.04.2010
Offline
495
#3
MoMM:
Надо копить айпишники и роботу с них случайным образом скармливать какой-нибудь левый контент

Т.е. отдавать контент только определенным IP?

Есть готовые решения для Вордпресса?

Серверы в NL/US со скидкой 30% нашим читателям: E5-2650v4/10GB DDR4/240GB SSD/1 Gbps - от $20: https://ua-hosting.company/vps/nl SEO без компромиссов: https://seoleaks.net SEOLEAKS - продвижение сайтов: https://www.instagram.com/seoleaks
MoMM
На сайте с 16.06.2006
Offline
Модератор724
#4
melkozaur:
Т.е. отдавать контент только определенным IP?
Есть готовые решения для Вордпресса?

пообщайтесь с дорвейщиками - у них много решений для клоакинга

Arakss
На сайте с 24.03.2016
Offline
36
#5

Собирать IP адреса - хорошая идея.

Но, дело в том, что IP парсера меняется только после блокировки.

То, есть пока его не блокирую,ip - неизменный.

По поводу левого контента - надо попробовать отдавать ему жестяк.

MoMM
На сайте с 16.06.2006
Offline
Модератор724
#6
Arakss:
Но, дело в том, что IP парсера меняется только после блокировки.
То, есть пока его не блокирую,ip - неизменный.

тем лучше - вам меньше работы...

главная особенность: постоянный парсинг и моментальная публикация... это означает, что человек не проверяет перед публикацией на их сайте - вот и пользуйтесь этим...

2-3 раза попадут на проблему - и переползут парсить другой сайт: вместо того, чтобы постоянно проверять что вы им там скармливаете, им проще найти другого донора для дойки...

trahtor
На сайте с 06.12.2005
Offline
395
#7

Так ip cloudflare можно легко по базам пробить - какие проблемы?

Samail
На сайте с 10.05.2007
Offline
328
#8
Arakss:
Есть ли у кого список IP адресов или подсетей Cloudflare?

http://ipinfo.io/AS13335

Samail
На сайте с 10.05.2007
Offline
328
#9
Lucrezia:
есть еще и при чем их много

То есть 1,292,544 адресов это не много?

Arakss
На сайте с 24.03.2016
Offline
36
#10

У меня получился такой список IP cloudflare.

Баню подсетями, Африки, Италии, Китай... и прочее ненужное (для ру сайта)

# ip cloudflare 13_05_2017

deny from 103.22.

deny from 104.16.

deny from 104.17.

deny from 104.18.

deny from 104.19.

deny from 104.20.

deny from 104.22.

deny from 104.23.

deny from 104.24.

deny from 104.24.

deny from 104.25.

deny from 104.26.

deny from 104.27.

deny from 104.28.

deny from 104.30.

deny from 104.31.

deny from 108.162.

deny from 131.0.72.

deny from 141.101.

deny from 162.158.

deny from 162.159.

deny from 162.251.82.

deny from 172.64.

deny from 172.68.

deny from 173.245.

deny from 188.114.

deny from 190.93.

deny from 197.234.

deny from 198.41.

deny from 199.27.132.

deny from 64.68.192.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий