- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Прочитал /ru/forum/450188, кое-что для себя взял.
Надо защитить сайт от парсинга, устроим мозговой штурм?:)
Сам часто занимался написанием парсеров, не припомню ни одного случая, когда не удавалось спарсить, разве что Яндекс с Гуглом не сильно поддавались. Но я и парсильщик так себе.
Какая защита поможет защититься от парсинга?
1. Доступность данных после автоизации.
2. Проверка user-agent иногда помогает.
3. Плавающие фреймы
Авторизация не катит
User-agent нормальным парсером подделывается
про плавающие фреймы не понял
А вот такой вопрос, часто ли парсеры выполняют скрипт ajax на сайте?
А вот такой вопрос, часто ли парсеры выполняют скрипт ajax на сайте?
Не видел таких.
RSS отключите ☝
Не видел таких.
Любой десктопный (delphi, c++ builder/.net и тд) парсер, в котором используется компонент "веб-браузер" (или аналогичный) выполнит любой js,ajax-запрос и может даже мышкой поводить. :)
Кроме того, есть скрипты для браузеров (вроде обезьянки для файрфокса) и для ОС (AutoIt, к примеру). Да, часть парсеров на такой проверке отвалится... Однако, если "ну очень надо будет" - разобраться с логикой ajax-запроса (в любом случае, код доступен) и curl-ом отправить можно и из консольки/скрипта...
RSS потому что парсит его в первую очередь?
Потому что самый доступный.
RSS потому что парсит его в первую очередь?
По моему мнению 99% парсинга идет именно через него.
---------- Добавлено 30.09.2012 в 00:22 ----------
Любой десктопный (delphi, c++ builder/.net и тд) парсер, в котором используется компонент "веб-браузер" (или аналогичный) выполнит любой js,ajax-запрос и может даже мышкой поводить. :)
Какой школьник будет так изворачиваться, лучше найдет другой сайт для парсинга.
видал в магазах на разных страницах товара идет разная html разметка, естественно парсить их будет сложно
Спарсю с любой защитой :D
Обращайтесь.
---------- Добавлено 30.09.2012 в 01:05 ----------
видал в магазах на разных страницах товара идет разная html разметка, естественно парсить их будет сложно
Ой ну сколько там?
Ozone у каждого отдела своя вёрстка, 20 костылей и всё ок.
Ebay чуть по-меньше 7 мь костылей.
---------- Добавлено 30.09.2012 в 01:06 ----------
Любой десктопный (delphi, c++ builder/.net и тд) парсер, в котором используется компонент "веб-браузер" (или аналогичный) выполнит любой js,ajax-запрос и может даже мышкой поводить. :)
Кроме того, есть скрипты для браузеров (вроде обезьянки для файрфокса) и для ОС (AutoIt, к примеру). Да, часть парсеров на такой проверке отвалится... Однако, если "ну очень надо будет" - разобраться с логикой ajax-запроса (в любом случае, код доступен) и curl-ом отправить можно и из консольки/скрипта...
Я вас умоляю 🍿
Зачем такие сложности? Открываем сохранённую копию из гугла и парсим в своё удовольствие.
Сделайте мне кто-нибудь парсер поисковой выдачи, который не нужно было бы перекраивать после каждой смены вёрстки.
И вообще, без регулярок, пжалста.
И парсе результатов работы js, после браузерной обработки. И чтобы перед обфусцированным кодом не пасовал.