Хочу защитить проект от парсинга

123 4
Присущ
На сайте с 06.01.2011
Offline
929
#11

tommy-gung, Я работаю с продвижением ресурсов которые аккумулируют спарсенные данные с разных ресурсов. И хорошо представляю какие проблемы могут создать те ресурсы которые парсятся, если пред ними появится такая задача. Они их не специально и то создают, а ели зададутся задачей просто из принципа, то многим кислород перекроют. Не стоит говорить, что все и всегда решаемо в приемлемые суммы. Не все и не всегда.

У всего есть себестоимость, а у дурости она бесконечна.

Прототипы и юзабилити, чтоб продавал и в топ попал Анализ сложившихся бизнес моделей и поиска точек роста Директ — от 2500 р, включая бюджет на клики / Аудит РК до и после запуска — от 5000 р
E
На сайте с 21.06.2008
Offline
74
#12

Единственный вариант, как мне кажется, динамически менять html теги, тогда сложно будет спарсить определенный участок сайта. Только страницу целиком.

Ссылки тут интересные . (to-ali.com)
Z
На сайте с 07.06.2013
Offline
63
#13
_SP_:
Вроде бы ботов гугла можно определять довольно уверенно.
Не всех конечно. Но тех кто забирает помногу можно.
Более того, они (боты) слушаются обычно директив.

Весь вопрос в том, сколько типичному юзеру надо страниц.
Если одна - две :), то можно больше двух на 1 ip и не отдавать, в сутки.
Да - это сурово, но такова жизнь.

Пропишут юзер-агенты пс и будут спокойно парсить.

Капчами и ограничениями будете радовать только своих посетителей.

tommy-gung
На сайте с 22.11.2006
Offline
287
#14
Присущ:
tommy-gung, Я работаю с продвижением ресурсов которые аккумулируют спарсенные данные с разных ресурсов. И хорошо представляю какие проблемы могут создать те ресурсы которые парсятся, если пред ними появится такая задача. Они их не специально и то создают, а ели зададутся задачей просто из принципа, то многим кислород перекроют. Не стоит говорить, что все и всегда решаемо в приемлемые суммы. Не все и не всегда.

спарсить и тупо скачать - две большие разницы. чтоб просто сделать клон нет необходимости делить данные по нужным "полям"

Здесь не могла быть ваша реклама
Присущ
На сайте с 06.01.2011
Offline
929
#15
tommy-gung:
спарсить и тупо скачать - две большие разницы. чтоб просто сделать клон нет необходимости делить данные по нужным "полям"

От клонирования, защищаться нет смысла, помоему. Всеки тс скорей боится, что кто спрасит данные с его сайтпа, а сервис предоставит лучше чем на его.

пс. Хотя если честно, я вообще не верю в скил тех кто по таким мыслями ищет ответы на серче.

юни
На сайте с 01.11.2005
Offline
901
#16
evova:
динамически менять html теги

Поисковый бот слегка... удивится.

https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
Присущ
На сайте с 06.01.2011
Offline
929
#17
юни:
Поисковый бот слегка... удивится.

И тут можно перейти к теме тегов в потоке сознания людей, чей мир не принимается считающими себя нормальными

zhitov
На сайте с 30.01.2005
Offline
219
#18
borisd:
Контентом там будут не авторские тексты, а некая весьма полезная информация, являющаяся результатом работы некоего аналитического алгоритма.

Как вариант:

Отдаете в HTML изначально неверный результат (пусть парсят).

Аяксом сразу заменяете на верный - для пользователя.

Строительные калькуляторы ( https://www.zhitov.com/ )
Stolz
На сайте с 25.01.2007
Offline
177
#19
borisd:
Господа, у меня на подходе интересный проект и в силу интересности он однозначно вызовет интерес всяких нехороших вредных личностей, поэтому будет нуждаться в защите.

Еще не факт. Вот вызовет - обращайтесь.

tommy-gung
На сайте с 22.11.2006
Offline
287
#20

Присущ, я про это и говорю. Если захотят, спарсят что угодно

zhitov:
Как вариант:
Отдаете в HTML изначально неверный результат (пусть парсят).
Аяксом сразу заменяете на верный - для пользователя.

неужели вы думаете, что никто не смотрит результат, который отображается? :)

да и чаще аяксовые данные еще проще парсить, так как они отдаются чаще в json, xml

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий