Грабят сайт, как обнаружить работу парсера?

123 4
veronica45
На сайте с 26.02.2010
Offline
28
3276

Есть у меня крупный сайт, с огромной базой. Сайт изначально создавался под большую аудиторию и заточка сайта была под ВЧ запросы, НЧ по возможности...

С ростом популярности моего сайта стали появляться и клоны, на фрилансере стабильно появляются запросы на разработку парсера под мой сайт. Как бы я раньше не обращала внимание на клонов, но в последнее время их стало уже очень много! Некоторые клоны теперь в выдаче по НЧ даже выше моего сайта! Надо что то с этим делать...

Если есть у кого ни будь какие ни будь предложения по борьбе с граберами, напишите!

Можно в ICQ 803090, вознаграждение гарантирую... :)

Ты суслика видишь?... И я не вижу, а он там есть!
topy
На сайте с 28.03.2006
Offline
142
#1
у кого ни будь какие ни будь

Чуть глаза не сломал. Это жесть, конечно.

Сделайте платный доступ, доступ через авторизацию, просмотр информации через ввод капчи и т.п..

IP отслеживать бесполезно т.к. их легко могут менять или использовать прокси.

Новости коротко и ясно (https://subnews.ru)
LEOnidUKG
На сайте с 25.11.2006
Offline
1723
#2

Бессмысленно, одних убьёте другие придут.

LEOnidUKG добавил 14.09.2011 в 12:01

просмотр информации через ввод капчи

И? Что сервисов по распознаванию что-ли нету? :)

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
topy
На сайте с 28.03.2006
Offline
142
#3
LEOnidUKG:
И? Что сервисов по распознаванию что-ли нету?

Есть, конечно, но это усложнит граббинг и школоту отсеет => станет меньше клонов, а я так понял, что небольшое кол-во клонов устраивало ТС.

DV
На сайте с 01.05.2010
Offline
644
#4
у кого ни будь какие ни будь

В качестве диагностики логи сервера.

В качестве меры противодействия бан явных воров, и ограничение на количество подключений с одного IP.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
veronica45
На сайте с 26.02.2010
Offline
28
#5
topy:

Сделайте платный доступ, доступ через авторизацию, просмотр информации через ввод капчи и т.п..
IP отслеживать бесполезно т.к. их легко могут менять или использовать прокси.

Сайт рассчитан на массовую аудиторию, это распугает моих юзеров... :(

Когда стали появляться клоны, я не придумала не чего лучше как поставить ватерзнак на все картинки что есть на сервере... Пришло письмо от одного вебмастера, типа уберите пожалуйста ваш логотип, а то я и все мои друзья берём инфу для своих сайтов только с вашего сайта...

Можно написать парсер логов Апача, более 100 просмотров нормальный юзер накрутить не должен. Если на IP пришлось более 100 просмотров, то такой IP в бан-лист...

Вот думаю, а не закинет ли такой скрипт и добропорядочных юзеров в бан-лист? А как быть с ПС и администрацией сайта?

veronica45 добавил 14.09.2011 в 12:27

topy:
Есть, конечно, но это усложнит граббинг и школоту отсеет => станет меньше клонов, а я так понял, что небольшое кол-во клонов устраивало ТС.

Пока клоны были ниже меня в выдаче, они мне не сколько не мешали...

А не подскажите что за сервисы такие?

veronica45 добавил 14.09.2011 в 12:32

DenisVS:
В качестве диагностики логи сервера.
В качестве меры противодействия бан явных воров, и ограничение на количество подключений с одного IP.

Ограничение подключений стоит... Но мои новости появляются на сайтах клонах почти одновременно...

Ragnarok
На сайте с 25.06.2010
Offline
226
#6

в тело контента можно запихивать невидимый (стилями) блок с текстом "стырено с сайта ххх.ком", класс стиля менять периодически.

запретить загрузку картинок со сторонних доменов (если возможно)

Ragnarok добавил 14.09.2011 в 13:14

+ в яндекс.вебмастере добавили возможность указывать первоисточники

//TODO: перестать откладывать на потом
veronica45
На сайте с 26.02.2010
Offline
28
#7
Ragnarok:
в тело контента можно запихивать невидимый (стилями) блок с текстом "стырено с сайта ххх.ком", класс стиля менять периодически.
запретить загрузку картинок со сторонних доменов (если возможно)

Я пробовала вставлять невидимый текст... но походу некоторых товарищей это совсем не смущает...

Про картинки тоже были подобные мысли, но потом подумала, если грабят контент, то пусть картинки тогда мои же прогружают, лишние беки мне не повредят :) На сервере аппаратный рейд из быстрых SAS дисков и гигабитный безлимитный канал подключения, так что мне не трудно раздать картинки...

veronica45 добавил 14.09.2011 в 13:58

Всем спасибо кто отписал в личку! Сейчас попробую кое что поставить на сервер.

SA
На сайте с 20.08.2010
Offline
23
#8

1) Подайте жалобу на клонов, % контента которых составляет большую часть украденного с вашего сайта, ну начните с тех кто начал вас обгонять по НЧ.. почистите немного.

2) Это бы я обязательно сделал на вашем месте сделать... проанализировать все ip ботов ПС и закрыть свободный доступ к контенту для всех остальных, требую ввод капчи, снимать капчу с контекнта в тот момент, когда страница вошла в индекс. Тут возникает вопрос санкций от ПС за подмену контента, но я думаю что можно будет с ними все это обсудить и тогда клонов будет на порядок меньше.

E
На сайте с 12.08.2011
Offline
4
#9

Попробуй поставить скрипт которьи будеть следит за : ИП / время / просмотерньие страницьи.

V7
На сайте с 15.09.2011
Offline
0
#10

Ставь защиту от грабинга-поверь она существует-google в помощь

Ё портал!- eportal.ws
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий