Защита от парсеров

D
На сайте с 28.06.2008
Offline
1108
5573

Нашел копию своего самого посещаемого сайта, обидно, хоть копия и не ранжируется высоко - все равно уроды они.

Задумался над защитой. У меня VDS, дибиан с панелью центр ос + рут доступ.

Можно как то ограничить скачивание информации, например принудительно выставить скорость в 10 кб/сек и ограничить объем скачиваемой инфы, например не более 100 мб в неделю.

Как вообще можно усложнить жизнь любителям попарсить?

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#1
Dram:

Задумался над защитой. У меня VDS, дибиан с панелью центр ос + рут доступ.
Можно как то ограничить скачивание информации, например принудительно выставить скорость в 10 кб/сек и ограничить объем скачиваемой инфы, например не более 100 мб в неделю.

Можно, но не усложнит жизни.

Dram:

Как вообще можно усложнить жизнь любителям попарсить?

Никак.

D
На сайте с 28.06.2008
Offline
1108
#2
Алексей Барыкин:
Можно, но не усложнит жизни.

Почему не усложнит?

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#3
Dram:
Почему не усложнит?

Несколько проксей обойдут ограничение на ширину канала.

D
На сайте с 28.06.2008
Offline
1108
#4

Разве нельзя установить жесткое ограничение - хотябы на скорость, пофигу с каких IP? И пусть трахаются и выкачивают 2 Гига сайта неделями

[umka]
На сайте с 25.05.2008
Offline
456
#5
Dram:
Разве нельзя установить жесткое ограничение - хотябы на скорость, пофигу с каких IP? И пусть трахаются и выкачивают 2 Гига сайта неделями

Значит, копия вашего сайта появится в сети позже на пару недель.

Вам от этого легче станет? :)

А вот у нормальных юзеров сайт будет медленно грузиться.

Лог в помощь!
Jekyll
На сайте с 04.05.2009
Offline
136
#6

А как же пользователи и поисковики?)

Для начала закройте доступ с ip сервера с сайтом-клоном и со всех бесплатных проксей (найти списки не составит труда)

Zero-xack
На сайте с 01.07.2009
Offline
114
#7
Dram:
выставить скорость в 10 кб/сек

Да вы чудовище :) Вас юзеры проклинать будут

Создание сайтов: визитки, порталы, магазины, блоги (/ru/forum/622551)
D
На сайте с 28.06.2008
Offline
1108
#8

Я тут с программером общался, он что-то пропал в аське, так что его идею точно не передам. Но он говорит, что защиттится можно, вроде как серевер будет спрашивать при запросе сайта типа 2+2 , но вроде пользователи этого не заметят. Принцип работы так и не понял, жду когда он появится...

kxk
На сайте с 30.01.2005
Offline
990
kxk
#9

Dram, Всё просто, при х запросов выдаём капчу которую надо ввести мышкой и кнопку продолжить, ставим спец куку и пускаем дальше, подсети Яндекса и Гугла в вайт лист им это не выдавать и всё .

Ваш DEVOPS
D
На сайте с 28.06.2008
Offline
1108
#10

точно! Спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий