- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Встала задача защитить содержимое файла от ботов-парсеров. Авторизация есть, но это не решение проблемы, файл обновляется каждый день и по этому каждый день его будут парсить а мне этого не надо... Может есть у кого задумки по поводу того как отличить пользователей от ботов, один из вариантов это проверка на js, но что и как проверять? В общем, если есть интересные идеи или готовые решения проблемы, буду благодарен за информацию.
Заранее благодарен за ответы.
Если сайт загружается пользователю, то значит он УЖЕ спарсен. Дело только в автоматической обработке контента останется ему.
если есть интересные идеи
Не выкладывать в сеть.
Защита от парсеров невозможна, кто сможет пусть отпишется в Яндекс, возьмут на работу в течении часа, зарплатой не обидят.
Невозможна по причине того что запрос бота на 100% может повторять запрос пользователя.
Защита от парсеров невозможна, кто сможет пусть отпишется в Яндекс, возьмут на работу в течении часа, зарплатой не обидят.
Невозможна по причине того что запрос бота на 100% может повторять запрос пользователя.
Ну, к примеру боты, js не понимают, это уже отличает их от обычных юзеров...
Ну, к примеру боты, js не понимают, это уже отличает их от обычных юзеров...
Ну допустим вашу догадку приняли... и как вы хотите серверно проверять наличие JS?))))
Или на каждой странице проверку вставлять? 🍿
Ну, к примеру боты, js не понимают, это уже отличает их от обычных юзеров...
Дело в том, что вы просто не понимаете о чем говорите.
Сервер который отдает информацию, понятия не имеет понимает ли JS то устройство которому он ее отдает т.к. выполнение JS идет уже после получения данных в точке назначения, и сервер уже отдал эти данные, в результате чего уже поздно думать выполнится ли JS там куда сервер отдал данные. Сервер просто об этом не может узнать.
Если скрываете от парсеров, то и поисковики тоже пройдут мимо. учитывайте это.
Дело в том, что вы просто не понимаете о чем говорите.
Сервер который отдает информацию, понятия не имеет понимает ли JS то устройство которому он ее отдает т.к. выполнение JS идет уже после получения данных в точке назначения, и сервер уже отдал эти данные, в результате чего уже поздно думать выполнится ли JS там куда сервер отдал данные. Сервер просто об этом не может узнать.
а если при запросе пользовательский браузер получает js, который в свою очередь запрашивает данные с сервера и отображает их?
Ну, к примеру боты, js не понимают, это уже отличает их от обычных юзеров...
Посмотрите на selenium, phantomjs - их к ботам можно прикрутить на раз-два.