Защита от парсеров

12
A
На сайте с 29.12.2007
Offline
68
#11
RoMaN444Ik:
Ну, к примеру боты, js не понимают, это уже отличает их от обычных юзеров...

Не верьте всему, что говорят ;).

Ink-developer
На сайте с 31.01.2009
Offline
138
#12
Ragnarok:
а если при запросе пользовательский браузер получает js, который в свою очередь запрашивает данные с сервера и отображает их?

Абсолютно ни чего не меняет, тот запрос, который отправляется при выполнении JS также можно отправить и парсером, в результате сервер будет думать, что его выполнил JS и соответственно отдаст данные.

F
На сайте с 24.04.2009
Offline
45
#13

Как послушать, так тут все такие мастера парсинга и маскировки под обычного юзера а не бота. Так может покажете мастер класс, напишете бота накрутчика адсенс. :D

LEOnidUKG
На сайте с 25.11.2006
Offline
1727
#14
Fearful:
Как послушать, так тут все такие мастера парсинга и маскировки под обычного юзера а не бота. Так может покажете мастер класс, напишете бота накрутчика адсенс. :D

Там от CRT зависит, много не накликаете, если 10 человек посещалка сайта, а кликов 50 ну в бан сразу уйдёте. + мы тут о граберах контента, а не кликалках, хотя их тоже пишут.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
Brand from Amber
На сайте с 18.08.2007
Offline
291
#15
Ink-developer:
запрос бота на 100% может повторять запрос пользователя

Запрос, возмлжно, ДА. Последовательность запросов - далеко не факт.

LEOnidUKG:
и как вы хотите серверно проверять наличие JS?

Flush-ом - выплёвывать кусочек JS, создающего и подгружающего какой-нибудь img, который, в свою очередь, является серверным скриптом и каким-либо образом (переменные уровня приложения или БД) обменяется информацией с основным скриптом (который всё это время будет держать поток открытым). Не?

Ink-developer:
вы просто не понимаете о чем говорите ...cut... сервер просто об этом не может узнать.

По-моему, это Вы не совсем понимаете… ;) см. выше.

hatsub:
Если скрываете от парсеров, то и поисковики тоже пройдут мимо. учитывайте это

Нет. Способов отделить "мух" от "котлет" достаточно много. Как вариант, можно поиграться с reverse DNS - http://help.yandex.ru/webmaster/?id=1076102.

Ragnarok:
а если при запросе пользовательский браузер получает js, который в свою очередь запрашивает данные с сервера и отображает их?

А это уже получится что-то типа АЯКСа, с которым не очень хорошо ладят ПС. А делать разную выдачу для них и для всех остальных не ест гуд, ибо есть клоакинг. Так что ИМХО это не самый лучший вариант.

Ink-developer:
, который отправляется при выполнении JS также можно отправить и парсером, в результате сервер будет думать, что его выполнил JS

...но только в том случае, если этот запрос не будет каждый раз генерироваться JS по ключу отправленному сервером. :)

Fearful:
может покажете мастер класс, напишете бота накрутчика адсенс

А чего там сложного-то?

RoMaN444Ik, ...впрочем, даже учитывая тот факт, что проверку на интерпретацию JS на стороне клиента можно реализовать на серверной стороне до момента передачи основного контента, хочу Вас огорчить - боты давно уже понимают JS.... а вместе с ним умеют и много всего остального (полноценный DOM, flash, разрешение экрана, эвенты мышки и клавиатуры ...и т.д. ...). Так что ищите другие способы идентификации роботов.

P.S. Могу подсказать направление: человек воспринимает контент зрительно - робот нет.

Лучший способ понять что-то самому - объяснить это другому.
AlExTeam
На сайте с 12.08.2010
Offline
34
#16

Если важно только чтобы читали и не индексировали, то можно через JS, но сделать нужно так, чтобы была конкретная нагрузка на проц при формировании.

Для защиты от копипаста тоже кое-что можно сделать, но в целом, самый простой метод txt2jpg :)

Internet killed the video star
RM
На сайте с 21.06.2011
Offline
77
#17

Затер... Проблема оказалась еще сложнее чем казалась... Но все равно, всем спасибо за помощь.

C
На сайте с 28.01.2010
Offline
70
#18
LEOnidUKG:
Ну допустим вашу догадку приняли... и как вы хотите серверно проверять наличие JS?))))
Или на каждой странице проверку вставлять? 🍿

get_browser() :D

Это - личная подпись. Здесь обычно ставят ссылки на всякие кривые сайты, надеясь получить "жирный бек".
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий