Эффективная и не дорогая защита от парсинга?

MW
На сайте с 21.02.2009
Offline
2
1652

Какие технологии при малых затрат программистов, могут очень сильно затруднить работу парсерам?

У меня большой каталог сайтов, разбитый по категориям, я не хотел что бы их у меня увели конкуренты

они могут спокойно все это выкачать

[Удален]
#1

бан по айпи при превышении определенного числа запросов за единицу времени

ПЗ
На сайте с 10.10.2006
Offline
92
#2
neolord:
бан по айпи при превышении определенного числа запросов за единицу времени

ага, и как результат половина страниц вылетит из поисковиков

В общем-то никак нельзя от парсеров спастить: все что выложено в общий доступ - может быть украдено.

Автомобили в России (http://www.autobb.ru/). Спецтехника BIZ - вся строительная, дорожная, коммунальная техника (http://www.spectehnika.biz/) и другая спецтехника в одном месте.
MW
На сайте с 21.02.2009
Offline
2
#3
бан по айпи при превышении определенного числа запросов за единицу времени

Благодарю, я до этого сам дошел:)

ага, и как результат половина страниц вылетит из поисковиков
В общем-то никак нельзя от парсеров спастить: все что выложено в общий доступ - может быть украдено.

Индексация не так важна - в моем случае.

Цель при 20% затрат, усложнить работу парсерам на 80%

[Удален]
#4
Павел Зотов:
ага, и как результат половина страниц вылетит из поисковиков
В общем-то никак нельзя от парсеров спастить: все что выложено в общий доступ - может быть украдено.

никуда оно не вылетит. Поисковики по вашему долбятся на все страницы скопом за секунду? вы заблуждаетесь. В крайнем случае можно исключить их айпи из фильтра

еще можно верстку каждой страницы менять при обращении, рандомизировать имена классов, например заменять <span> на <dl><dt><blockquote> и прочие редко используемые теги. но это уже извращенство

neolord добавил 23.02.2009 в 19:37

А раз индексация не важна то просто генерируйте код страницы через JS

CR
На сайте с 21.11.2008
Offline
146
#5

Верно, просто написать систему случайной смены структуры страниц.

F
На сайте с 12.03.2007
Offline
85
#6

У меня для DLE есть модуль, сейчас его тестирую. В день парочка вредных ботов попадается. Помогает в основном от полного выкачивания сайта.

А защита чисто от парсина - это "плавующий" шаблон + добавление в контент в малых количествах "мусора" (много может повлиять на выдачу в поисковиках) и очистку его javascripтом.

Как начать тренироваться (http://max-body.ru/quick_start.html), Бодибилдинг форум (http://fatal-energy.com/). Обменяюсь/куплю ссылками со статей (или статьями) с сайтами бодибилдинг/фитнес тематики.
[Удален]
#7
MGself_where_are_you:

Цель при 20% затрат, усложнить работу парсерам на 80%

Правило Парето применимо не всегда...

я скажу так. если поставят цель выкачать - выкачают, как бы вы не старались. если такой цели ни у кого нет, то даже если вы доплатите - никто не будет ничего делать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий