Знатоки парсинга Google - откликнитесь! - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 12.04.2018, 15:58   #1
Абитуриент
 
Регистрация: 25.11.2010
Сообщений: 1
Репутация: -348

По умолчанию Знатоки парсинга Google - откликнитесь!

Есть проблема, которую не можем решить. Нужно парсить ежедневно 10 000 000 запросов в поисковой выдаче Google.

На данный момент, мы в парсим 100 позиций выдачи гугла порядка 500к - 1.5 милионов запросов в день. До того, как гугл перешел c цифровой капчи на recaptcha2, для решения капч мы использовали capmonster2 и скорость была около 4к в минуту. После перехода на новую капчу, капмонстр перестал справляться с нагрузкой, в связи с чем было решено попробовать отказаться от него. Пробовали сервисы, в которых оплата идет за определенное количество решенных капч, но они оказались не эффективными, так-как время решения капчи больше, чем выигранное благодаря этому время и средняя скорость еще меньше, чем вообще без разгадывания капчи. Без разгадывания капчи скорость так же очень низкая, варьируется от 50 до 700 запросов в минуту. Дополнительные прокся не сильно помогают, так-как в начале скорость нормальная (около 2к/минуту), но очень быстро запросы банятся и скорость снова падает.
Наверно делаем что-то не так.
red2see вне форума   Ответить с цитированием

Реклама
Старый 12.04.2018, 17:10   #2
paveldvlip
Профессор
 
Аватар для paveldvlip
 
Регистрация: 16.01.2007
Сообщений: 763
Репутация: 33044

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

А вы думаете, что будете ддосить Гугл, а они будут смиренно обрабатывать эту нагрузку?
__________________
TopSite 3 - программа проверки позиций сайтов, сбора конкурентов, кластеризации
paveldvlip вне форума   Ответить с цитированием
Старый 12.04.2018, 23:02   #3
DonaldCoomer
Студент
 
Регистрация: 03.01.2012
Сообщений: 42
Репутация: 3919

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

Цитата:
Сообщение от paveldvlip Посмотреть сообщение
А вы думаете, что будете ддосить Гугл, а они будут смиренно обрабатывать эту нагрузку?
как я люблю такие ответы не по теме
DonaldCoomer вне форума   Ответить с цитированием
Старый 12.04.2018, 23:05   #4
donc
Филипп Филиппович
 
Аватар для donc
 
Регистрация: 16.01.2007
Сообщений: 6,094
Репутация: 1107140
Социальные сети

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

Цитата:
Сообщение от DonaldCoomer Посмотреть сообщение
как я люблю такие ответы не по теме
А от нас что вы хотели?
Ну я лично выражаю вам сочувствие. Стало легче?
Можно еще купить xml лимитов и невозбранно парсить яндекс
donc вне форума   Ответить с цитированием
Старый 19.04.2018, 09:17   #5
Robocoper
Студент
 
Регистрация: 11.04.2018
Сообщений: 7
Репутация: 10

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

Цитата:
Сообщение от red2see Посмотреть сообщение
Есть проблема, которую не можем решить. Нужно парсить ежедневно 10 000 000 запросов в поисковой выдаче Google.

На данный момент, мы в парсим 100 позиций выдачи гугла порядка 500к - 1.5 милионов запросов в день. До того, как гугл перешел c цифровой капчи на recaptcha2, для решения капч мы использовали capmonster2 и скорость была около 4к в минуту. После перехода на новую капчу, капмонстр перестал справляться с нагрузкой, в связи с чем было решено попробовать отказаться от него. Пробовали сервисы, в которых оплата идет за определенное количество решенных капч, но они оказались не эффективными, так-как время решения капчи больше, чем выигранное благодаря этому время и средняя скорость еще меньше, чем вообще без разгадывания капчи. Без разгадывания капчи скорость так же очень низкая, варьируется от 50 до 700 запросов в минуту. Дополнительные прокся не сильно помогают, так-как в начале скорость нормальная (около 2к/минуту), но очень быстро запросы банятся и скорость снова падает.
Наверно делаем что-то не так.
Какой у вас бюджет на все это?
Robocoper вне форума   Ответить с цитированием
Старый 19.04.2018, 10:30   #6
bridal777
Академик
 
Аватар для bridal777
 
Регистрация: 06.11.2008
Сообщений: 1,469
Репутация: 111213

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

С таким количеством запросов вряд ли получится добиться лучшего результата, чем уже есть.
bridal777 вне форума   Ответить с цитированием
Старый 19.04.2018, 11:11   #7
Robocoper
Студент
 
Регистрация: 11.04.2018
Сообщений: 7
Репутация: 10

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

Цитата:
Сообщение от bridal777 Посмотреть сообщение
С таким количеством запросов вряд ли получится добиться лучшего результата, чем уже есть.
Та можно, просто это будет не дешевое решение, но дешевле, чем в разных сервисах.
Бесплатно, конечно лучшего результата не добиться.
Robocoper вне форума   Ответить с цитированием
Старый 23.04.2018, 23:51   #8
MeGGo
Кандидат наук
 
Аватар для MeGGo
 
Регистрация: 23.08.2015
Адрес: Киев
Сообщений: 319
Репутация: 2932
Отправить сообщение для MeGGo с помощью ICQ

По умолчанию Re: Знатоки парсинга Google - откликнитесь!

А с какой целью вы это делаете?
__________________
Проверяю позиции с помощью Topvisor.
Бесплатный VPN: 10GB ежемесячно и более 20 IP с разных стран совершенно бесплатно: затестить.
MeGGo вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 13:21. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны