Где бы вы советовали доставать/покупать прокси сервера для парсинга вордстата/директа/поисковой выдачи?

I
На сайте с 07.04.2021
Offline
15
350
Использую Key Collector с автораспознаванием каптчи через рукаптчу и думаю, есть ли смысл в прокси серверах. Мои 5 шт. аккаунтов яндекса не блокируют, но что-то подсказывает, что можно было бы сэкономить на каптче и ускорить парсинг, если бы ввод каптчи инициировался реже, что в свою очередь потребовало бы использования хороших прокси серверов? Каптча чаще всего вылезает при парсинге похожих запросов в Яндексе и при пасинге поисковой выдачи в Яндексе.  Если в прокси есть смысл, то где посоветуете покупать/доставать? Бесплатные, если не ошибаюсь, всеми юзаны-переюзаны, из за чего яндекс каптчу подсовывать реже не станет, а наоборот, да и работают они медленно и часто помирают. Подскажите пожалуйста золотую середину?
юни
На сайте с 01.11.2005
Offline
924
#1

Смысл есть многие пользуются, особенно на объёмах.

У Вас большой бюджет?

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
I
На сайте с 07.04.2021
Offline
15
#2
юни #:

Смысл есть многие пользуются, особенно на объёмах.

У Вас большой бюджет?

А что считать большим?

Спарсил поисковую выдачу с ~15000 фраз и на каптчу ушло ~100 рублей. Это не много, сумма даже смешная, но я люблю заморочиться и все прикинуть - в дальнейшем может пригодиться.

Допустим в месяц на распознание каптчи без прокси потратится 500 рублей и поисковая выдача будет парситься с одного ip. В этом случае удастся снизить издержки за счет покупки прокси поштучно/по подписке? Кто то скажет что в контексте таких сумм смысла вообще не будет и время на все эти расчеты и переписки на форуме отнимут больше ресурсов, но тем не менее любопытно.  Начиная от какой суммы будет смысл?

I
На сайте с 07.04.2021
Offline
15
#3
Может для относительно небольших объемов рациональнее всего будет отказаться от нескольких аккаунтов и парсить неспеша в один аккаунт без прокси - тогда каптча вылезать будет в разы реже по отношению к количеству поисковых фраз?
I
На сайте с 07.04.2021
Offline
15
#4
Или вообще зря я платным сервисом воспользовался, т.к. давно уже капча разгадывается в т.ч. бесплатными инструментами? А в сервисах капчу люди уже давно не вводят т.к. 99% капч вводится натренированными нейронными сетями?
Виктор Петров
На сайте с 05.01.2020
Offline
240
#5
Iwwan #:
Спарсил поисковую выдачу с ~15000 фраз и на каптчу ушло ~100 рублей. Это не много, сумма даже смешная, но я люблю заморочиться и все прикинуть - в дальнейшем может пригодиться.

Тяну в одного аккаунта до 150000 ключей разово. На рукапчу с год назад кинул 100 или 200 рублей. До сих пор на счету - около 70 рублей. С парсингом работаю в больших объёмах. Без проксей.

I
На сайте с 07.04.2021
Offline
15
#6
Виктор Петров #:

Тяну в одного аккаунта до 150000 ключей разово. На рукапчу с год назад кинул 100 или 200 рублей. До сих пор на счету - около 70 рублей. С парсингом работаю в больших объёмах. Без проксей.

Каким образом вам удается минимизировать затраты на капчу?

Предположил, что в настройках Key Collector Yandex SERP у вас могло бы быть: режим обращения напрямую к выдаче, безбраузерный, нормальный (с задержками в районе 9 секунд) и то что с такими параметрами Яндекс капчу подсовывает крайне редко. А на самом деле как?

150000 ключей за раз при задержке 9 секунд с одного аккаунта - как минимум 1 350 000 секунд (22 500 минут или 375 часов) непрерывного парсинга. По моим подсчетам, поисковая выдача на 150000 ключей парсится 15,6 суток при описанных выше настройках.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий