- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Написали свою парсилку вордстата Директа, дабы собирать частотности слов. Чтобы "работало" делаем следующее:
Меняем айпишники (много)
Рандомно под ними логинимся (для каждого запроса заново)
Даём случайные задержки в 4-10 секунд.
Всё-равно выдаёт капчу после 600 запросов. :( Причём сначала держался до 1000, потом стало столько.
Если есть какие идеи - посоветуйте пожалуйста, что ещё можно сделать, что бы он хотя бы подольше держался.
дольше задержку ставить - рандом 10-20с, если не поможет то увеличить до 30 с
Меняем айпишники (много)
Каптчу будет выдавать по любому, но если айпишников много, то пока дойдете до конца списка - начало списка уже будет без каптчи (вордстат разбанит). И так по кругу. Штук 150-200 проксей хватает для парсинга без задержек (зависит только от скорости самих проксей).
Мне 20-30 прокси хватает, чтобы парсить без задержек, правда прокси не самые быстрые, но я не беру медленее 2 сек.
P.S. Чекаю уже 2-е суток. База большая.
Мне 20-30 прокси хватает, чтобы парсить без задержек, правда прокси не самые быстрые, но я не беру медленее 2 сек.
P.S. Чекаю уже 2-е суток. База большая.
У нас более 50 ip и не помогает(
А большая база - это сколько?
У нас более 50 ip и не помогает(
А большая база - это сколько?
Если ip из одной подсети, то скорей всего в этом проблема. База 500к кеев.
У нас более 50 ip и не помогает(
Так это немного.
Если ip из одной подсети, то скорей всего в этом проблема.
Вот об этом-то я и забыл. Точно, спасибо! Будем пробовать.
Странно, у меня Магадан парсит с задержкой в 10 секунд без прокси и IP не банится. Напарсил 3к, а потом ещё 5к.
TeamLeader, а юзер агент отдается один и тот же?
полезно сделать какую-нибудь рандомную смену при парсинге