Парсинг поисковой выдачи

danforth
На сайте с 18.12.2015
Offline
153
895

Хотел вопрос задать к тем, кто сталкивался с разработкой своего ПО для съема позиций: как обходят капчу поисковых систем? Смотрел сервис по обработке капч роботами/неграми - там стоимость обработки одной капчи может быть выше стоимости за снятие позиции по одному ключу. И второй вопрос: региональная выдача парсится через прокси?

Junior Web Developer
Дмитрий Удимов
На сайте с 05.05.2010
Offline
274
#1

Нужно парсить так, чтобы капч небыло вообще или свести их появление к абсолютному минимуму. Можете еще почитать про нейронные сети и распознавание капч.

Региональная выдача парсится не только через прокси.

Топвизор — аккредитованный регистратор доменов .ru и .рф (https://topvisor.com/ru/domain-registration/) — честная цена 299 руб. за регистрацию и продление.
TF-Studio
На сайте с 17.08.2010
Offline
334
#2

селениум, фантом - и не будет у вас совсем капч. нагрузка только большая, но решаемая. поставить мощную машину - дешевле, чем постоянно менять прокси и антигейты юзать

региональную - через параметры можно снимать. чуть хуже, но проще.

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
Александр Смирнов
На сайте с 30.08.2007
Offline
102
#3

Я использовал ipv6 туннели. В итоге 4 ipv6 подсети и 4 ipv4 позволяли без проблем снимать до 1 млн. запросов в сутки.

Брокеров можно смотреть тут: https://ru.wikipedia.org/wiki/Список_брокеров_IPv6

Разработаю веб-сервисы на Yii2 фреймворке от 150 тыс. руб. в мес. Обучу программированию на Yii2
TF-Studio
На сайте с 17.08.2010
Offline
334
#4
_AXE_:
Я использовал ipv6 туннели. В итоге 4 ipv6 подсети и 4 ipv4 позволяли без проблем снимать до 1 млн. запросов в сутки.
Брокеров можно смотреть тут: https://ru.wikipedia.org/wiki/Список_брокеров_IPv6

а можете подробнее расписать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий