Помогите забанить бота (грабер)

123
A
На сайте с 04.11.2012
Offline
77
#11

Я, конечно, слабо шарю в парсерах, но может даже озвученная безумная идея поможет?

тс, бот парсит контент именно с сайта или при помощи рсс?

если первый вариант, то мож имеет смысл сменить названия ксс-классов, чтобы тот блок, что раньше был областью контента теперь стало каким-то бесполезным кусочком футера?

Это не решит проблему бота, но может испортить результат на фрихосте.

Если парсит с рсс, то отруби рсс или смени урл ленты.

И, кста, фрихосты ж не очень положительно относятся, если сайты на их серверах нарушают какие-то законы, мо имеет смысл почитать правила фрихоста и накатать обоснованную абузу?

Кста,а картинки на злодейщицком сайте где располагаются? Подтягиваются с твоего серва или закачиваются на его?

Если второй вариант, то мо зальешь под видом картинки шелл, а потом подключишься и тупо снесешь все? :)

Coolteams
На сайте с 02.05.2014
Offline
58
#12
ankhorr:
Я, конечно, слабо шарю в парсерах, но может даже озвученная безумная идея поможет?

тс, бот парсит контент именно с сайта или при помощи рсс?
если первый вариант, то мож имеет смысл сменить названия ксс-классов, чтобы тот блок, что раньше был областью контента теперь стало каким-то бесполезным кусочком футера?
Это не решит проблему бота, но может испортить результат на фрихосте.
Если парсит с рсс, то отруби рсс или смени урл ленты.
И, кста, фрихосты ж не очень положительно относятся, если сайты на их серверах нарушают какие-то законы, мо имеет смысл почитать правила фрихоста и накатать обоснованную абузу?

Кста,а картинки на злодейщицком сайте где располагаются? Подтягиваются с твоего серва или закачиваются на его?
Если второй вариант, то мо зальешь под видом картинки шелл, а потом подключишься и тупо снесешь все? :)

Заливается абсолютно все, весь сайт целиком, клон статический. Rss это детское баловство по сравнению с этим грабером, классы переписать - они автоматом переписываются у клона за полсекунды, ему абсолютно это все фиалетово, повторяюсь, грабится весь сайт целиком.

---------- Добавлено 13.09.2014 в 17:05 ----------

Den73:
ну тогда продолжайте в пустую тратить врем и банить ип :)

Все уже побанено, нашелся спец, который поставил нехилую защиту на сайт 🍿

Den73
На сайте с 26.06.2010
Offline
523
#13

Coolteams

еще раз повторюсь банить это бред, есть простые и элегантные решения.

Coolteams
На сайте с 02.05.2014
Offline
58
#14
Den73:
Coolteams

еще раз повторюсь банить это бред, есть простые и элегантные решения.

Я понимаю, вычислили этого чела, на другом форуме он засветился и не менял ip с 2013 года. Я понимаю что есть другие решения, но сайт сейчас под защитой и есть гарантии (типа абонемент=). Любой грабер, который присосался к сайту теперь отправляет месагу на мыло со всей инфой. Самое главное, клон не успел толком проиндексироваться и в ближайший нормальный ап должен отвалиться как говняшка из выдачи. Собственно и в этом вся запарка была, хорошо что вовремя заметил. Будет новый детект - с ним будет тоже самое.

Главное - суть, не реально заграбить проект и опустить его, если есть финансы и есть хорошие кодеры. А перечитывать школьные блоги как защить сайт от парсинга - это пустая трата времени и соответственно денег, ну во всяком случае для меня так. Граберы мутируют, и ни что не стоит на месте...

---------- Добавлено 13.09.2014 в 20:13 ----------

Den73:
Coolteams

еще раз повторюсь банить это бред, есть простые и элегантные решения.

ну так выложите пруф, может реально кому-то поможет эта ветка, слушаем внимательно 🍿

telemax
На сайте с 24.06.2013
Offline
32
#15

Аналогичная проблема. Подскажите, пожалуйста что делать или к кому обратиться. Можно в личку

D
На сайте с 28.06.2008
Offline
1018
#16

Сделать невидимую ссылку - и за переход по ней - сразу бан. В белый список добавить подсети поисковых ботов.

barslg
На сайте с 09.06.2009
Offline
107
#17

ТС, поделитесь таким сервисом, плз.

CoolVDS (http://www.coolvds.com) VDS/Dedics с бесплатным тестовым периодом. Выделенные сервера с настоящим гигабитным каналом (http://www.coolvds.com/dedicated-500m/) VDS/VPS (http://www.coolvds.com/vds/) от $15/мес от 1GB RAM. Самый лучший выбор!
_
На сайте с 24.03.2008
Offline
357
#18
telemax:
Аналогичная проблема. Подскажите, пожалуйста что делать или к кому обратиться. Можно в личку

Логи разглядите... обычно нет никаких проблем выявить таких ботов.

Про 500 прокси-ip тоже в общем-то лирика, но обычно они ведут себя не как пользователи.

Очень редко исполняют javascript

Очень часто долбят ровно через 1-2с.

Итд итп.

Только смысла почти нету. Захотят - сграбят из гугла...

Coolteams
На сайте с 02.05.2014
Offline
58
#19
barslg:
ТС, поделитесь таким сервисом, плз.

Нет никакого сервиса, заказывал у кодера и неслабо влетело в копейку. Но мне надо было срочно избавиться от клона, зеркало уже начало влезать в индекс, поэтому и кипишнул. Было еще несколько попыток, но все пресечены.

---------- Добавлено 17.09.2014 в 19:19 ----------

_SP_:
Логи разглядите... обычно нет никаких проблем выявить таких ботов.

Мне было проблематично, потому как журнал с логами не резиновый, он не хранится а перезаписывается. Грабер мог и не посылать никаких признаков присутствия, он вообще какой-то странный, как будто с фрейма подтянули сайт, и клон получился как две капли воды.

Julia-V
На сайте с 05.02.2010
Offline
77
#20

ТС, фрихостеру написали жалобу? Клон так и болтается?

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий