Защита от парсеров

kxk
На сайте с 30.01.2005
Offline
990
kxk
#21

юни, Не всегда :)

Есть ряд средств, но о них я не буду говорить бесплатно.

Ваш DEVOPS
юни
На сайте с 01.11.2005
Offline
916
#22

kxk, ну-ну.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
Bitman
На сайте с 05.07.2009
Offline
112
#23

Что делать будем с парсером типа Яндекс и Гугл?

Северный лес (https://euro-vagonka.by) DREW (https://drew.by) AvtoDrive (https://avtodrive.by)
kxk
На сайте с 30.01.2005
Offline
990
kxk
#24

Bitman, Что-нибудь

inse3t
На сайте с 08.05.2006
Offline
84
#25

kxk, тут либо говорить, либо не ****** лишний раз.

edka
На сайте с 17.01.2010
Offline
208
#26

Может пойти другим путем: динамически менять контент, вставлять мусорные теги к хтмл код, чтобы разбор напарсенного вызвал гемморой ? :)

Но зависит от контента, на каталогах, рубрикаторах,онлайн справках, где все разбито по логическим категориям этим способо защититься можно, а на обычном контенте, аля новости на сайте это не поможет, т.к. парсят обычно как есть.

alexandr_nv
На сайте с 23.04.2009
Offline
39
#27

При большом количестве запросов с одного IP - можно его банить или, как уже говорили, выдавать капчу. Но от прокси это не спасает.

От прокси ничего не спасет!

Хотя... подавляющее большинство используемых прокси серверов находятся не в России.

Если зарубить скорость для забугорных IP - то это немного замедлит парсинг, но не остановит его. А если для забугорных IP выдавать капчу на каждой 10 или 20 странице (рандомно) - то это более менее рабочее решение.

Правда, какой-то процент ваших посетителей можно потерять из-за этого неудобства.

edka:
вставлять мусорные теги к хтмл код

Выбросьте эту затею из головы. Яндексу и Гуглу она, уверен, тоже не понравится.

[Удален]
#28

повторюсь - "не спастись" :)

alexandr_nv
На сайте с 23.04.2009
Offline
39
#29
bearman:
повторюсь - "не спастись" :)

А что насчет вывода капчи для иностранных IP? Скажи, много у тебя русских прокси?

Mad_Man
На сайте с 10.11.2008
Offline
162
#30
alexandr_nv:
А что насчет вывода капчи для иностранных IP? Скажи, много у тебя русских прокси?

Я бы дико ржал, если бы яндексу или гуглу стала бы отдаваться капча. И бесполезно это всё и геморрой для пользователей.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий