HTMLParser среди посещавших сайт ботов

VoV@
На сайте с 22.09.2007
Offline
196
779

Вот увидел в статистике всех своих сайтов HTMLParser (http://htmlparser.sourceforge.net/). Значит ли это, что скоро я увижу клоны свох сайтов, или этим парсером пользуется какой нибудь сервис, собирающий данные о сайтах? IP, с которого зашёл парсер я в логах не нашёл :(

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
[Удален]
#1

Значит распарсили вас на дорвеи...

ActionTime
На сайте с 27.12.2006
Offline
115
#2
VoV@:
IP, с которого зашёл парсер я в логах не нашёл

user-agent HTMLParser

[Удален]
#3

Забань юзерагента :)

VoV@
На сайте с 22.09.2007
Offline
196
#4
VipRaskrutka:
Забань юзерагента :)

так, он уже везде пробежался, и быстро схавал все страницы всем ботам на зависть

[Удален]
#5
VoV@:
так, он уже везде пробежался, и быстро схавал все страницы всем ботам на зависть

Так чтоб больше не прибегал и новый контент не утащил :)

B
На сайте с 26.12.2006
Offline
51
#6

имха ничего не поможет от парсинга, ибо юзерагента легко скрыть.

наша команда при парсинге сторонних сайтов(мы не занимаемся воровством контента, есть другие цели) всегда указывает юзерагентов поисковых роботов гугла и яндекса, соответственно забанить по юзерагенту не получится только по ip который тоже легко меняется.

Не стоит заморачиваться по этому поводу, этого никак не избежать и наши проекты тоже парсят и тырят, развивайте свой проект и будет вам счастье, а те кто тупо парсит далеко не уедут на этом контенте.

PHP,MySQL,JavaScript,AJAX

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий