Защита от парсеров

юни
На сайте с 01.11.2005
Offline
936
#11

А как подсети Яндекса/Гугла определить?

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
D
На сайте с 09.07.2009
Offline
79
#12
kxk:
Dram, Всё просто, при х запросов выдаём капчу которую надо ввести мышкой и кнопку продолжить, ставим спец куку и пускаем дальше, подсети Яндекса и Гугла в вайт лист им это не выдавать и всё .

Про ввод мышкой можно поподробнее?

Есть пример такого?

Вообще если писать парсер под конкретный сайт, то наврятли что-либо остановит..

[Удален]
#13

никак, максимум время парсинга увеличите, но это обычно не критично

Spell
На сайте с 14.07.2006
Offline
72
#14

kxk, капчу на доступ к сайту? К любой странице чтоли?

dayw
На сайте с 25.01.2006
Offline
116
#15
при х запросов выдаём капчу которую надо ввести мышкой и кнопку продолжить,

Spell, что вы не поняли здесь?

Я бы делал, при X запросах в секунду или N интервале времени капчу выдавать. При этом. формат капчи не должен соответствовать капче, которую могу принять сервисы ********

Интернет-магазин игровых приставок в Москве (https://savelagame.ru)
kxk
На сайте с 30.01.2005
Offline
990
kxk
#16

юни, Ручками :) Тебе всё спали бесплатно :)

Ваш DEVOPS
юни
На сайте с 01.11.2005
Offline
936
#17

Ну в смысле, ручками... хуизы-то тоже меняются, хоть на гугловские, хоть на Яндекса, хоть на какие.

kxk
На сайте с 30.01.2005
Offline
990
kxk
#18

юни, Не пытай меня, бесплатно я всёравно тебе темы не спалю

inse3t
На сайте с 08.05.2006
Offline
84
#19

Никак. Способов обхода миллионы.

inse3t добавил 15.06.2010 в 18:14

kxk, на счет вайт листа гугла и яндекса можно поподробней? :))) Или по UA будете выбирать? :)

юни
На сайте с 01.11.2005
Offline
936
#20

kxk, я к тому говорю, что в эти вайт-листы попадут подсети, с которых ведётся парсинг.

Было бы желание.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий