Антиграббер контента

1 234
A
На сайте с 04.11.2007
Offline
134
#21

kxk, благодарю за Азию.

В моём случае, был именно китаец по whois.ком, недавно "купивший" германское IP по awstats.

kxk
На сайте с 30.01.2005
Offline
990
kxk
#22

asteroid, Отлично

Ваш DEVOPS
Andron_buton
На сайте с 19.07.2007
Offline
270
#23

asteroid, самый простой способ - баните сети дата-центров, хотя бы самые популярные, людей там нет, зато ботов...

Сережка
На сайте с 12.01.2007
Offline
97
#24
Andron_buton:
asteroid, самый простой способ - баните сети дата-центров, хотя бы самые популярные, людей там нет, зато ботов...

А где взять список IP дата-центров?

Семён-Ядрён (http://seo-case.com/zakaz_996/submit_brief.html) - Качественное семантическое ядро для Вашего сайта!
[Удален]
#25

Сережка, изучите по логу самых активных, смотрите whois IP. Там диапазоны расписаны. Ну а по название конторы в whois можно нагуглить все остальные диапазоны.

dag
На сайте с 10.02.2007
Offline
214
dag
#26

чтот задумался, а почему нельзя на главной странице разместить гарантированно невидимую для живого человека ссылку на наш скрипт, который, выполняясь, автоматом будет банить IP бота. Все просто и эффективно. Да, какой то обгрызок сайта успеют спарсить, ну и пускай подавятся.

Сережка
На сайте с 12.01.2007
Offline
97
#27
dag:
чтот задумался, а почему нельзя на главной странице разместить гарантированно невидимую для живого человека ссылку на наш скрипт, который, выполняясь, автоматом будет банить IP бота. Все просто и эффективно. Да, какой то обгрызок сайта успеют спарсить, ну и пускай подавятся.

Думал и про этот способ, и не только на главной, а на всех. Но тогда можно и бота яндекса или гугла забанить :)

и еще вариант, при открытии страницы грузить скриптом скрытую страницу, если были открыты много страниц, а эта нет, значит бот, или пользователь с отключенным скриптом.

Andreyka
На сайте с 19.02.2005
Offline
822
#28

Для ботов яндекса/гугла можно указать запрет в robots.txt

Граббеы его игнорят

Не стоит плодить сущности без необходимости
Vin_cent
На сайте с 22.01.2010
Offline
171
#29
Andron_buton:
asteroid, самый простой способ - баните сети дата-центров, хотя бы самые популярные, людей там нет, зато ботов...

Аналогично поступаю уже несколько лет. В бане у меня весь: Digitalocean, Hetzner, OVHs и AWS :)

eN_Slon
На сайте с 13.02.2007
Offline
159
#30

Vin_cent, можете поделиться списком их айпи, сетей?

Парсинг, граббинг, автоматизация всего что вы можете сделать в браузере(и не только) сами. Любое кол-во, любые защиты.
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий