- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK Play разрешил публикацию игр для физических лиц
Ранее эта возможность была доступна только юрлицам
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Нам необходимо каждый день парсить один сайт справочный некоммерческий, но там капча + быстро блокирует.
Никакой возможности платного API тем сервисом не предусмотрено.
Как обойти эти блокировки?
Мысли примерно следующие - может сделать что-то по аналогии с сервисами для накрутки поведенческих факторов? Чтобы у 1000 или 10000 пользователей стояла какая-то программа, и запускалась с их компа? Но не вирусом, а как-то цивилизованно...
Цивилизованно - это договориться о доступе с владельцем сайта.
но там капча + быстро блокирует
Капча-сервис и прокси Вас спасут :)
Цивилизованно - это договориться о доступе с владельцем сайта.
К примеру https://гибдд.рф/check/fines - один из сайтов которые все подряд очень любят парсить и при этом никому они так и не дали доступа к API проверке штрафов, всем приходится ReCaptcha решать.
Да, мне тоже нужно гос.сайт информационный, там договариваться год придётся...
Вы можете заходить через прокси, с интервалами от 30сек.
Тогда думаю никаких проблем не будет.
параллелить через прокси - либо мобильные, либо статические. но если парсинг активный (судя по тому что банят), надо десятки мобильных или сотни статики
параллелить через прокси - либо мобильные, либо статические.
Сейчас, если сильно умные, обычные прокси палят по фингерпиринту.
Поэтому, если нужна надежность - то только мобильные.
А капча решается подключением к сервису решения капч.
---------- Добавлено 03.07.2019 в 16:12 ----------
Как обойти эти блокировки?
А какова интенсивность парсинга?
Сейчас, если сильно умные, обычные прокси палят по фингерпиринту.
не сильно умные, а сильно богатые, вроде фб. больше не знаю сервисов, кто реально запаривается на счет соответствия сетевого стека и юзерагента