User Agent ботов

1 234
[Удален]
#31

Вааще-то папулярные поисковики ксивы предъявляют

Могут изредка и анонимную разведку проводить, но в паблик сие редко попадаеть...

X
На сайте с 01.10.2012
Offline
8
#32
Ayavryk:
Если не представляются, защита от парсинга не возможна

даже если бы гарантированно представлялись, то что бы мешало роботу "злоумышленника" посылать "правильный" user-agent ? ;) Уже тогда, как вариант, по ИПу палить кто и откуда, и если ИП один из засвеченных роботами поисковиков, давать такому боту больше траста и не банить за частоту запросов, но это опять таки, как одно из условий )

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий