Прокси сервер для парсинга выдачи Google

Hack_Daniels
На сайте с 18.09.2010
Offline
56
3953

Приветствую. Пытаюсь снять позиции в google, частенько начал выдавать error, видимо превышаю лимит. Есть ли что то вроде яндекс xml у google? А также интересует, есть ли прокси сервера, через которые можно снимать позиции без ограничений?

V
На сайте с 14.05.2009
Offline
55
#1

Мы в свое время тоже боролись с этим. Тут проблема не в количестве прокси/айпи и т.д., а в правильности парсинга. Нужно писать ПО так, чтобы гугл считал этого клиента реальным человеком, который юзает браузер, а не какие-то wget-ы и подобные консольные браузеры для парсинга.

Использование Selenium-а вашим ПО + подключение АнтиГейта - путь к успеху. Так можно парсить тысячи ключей с 1 айпи без никаких прокси.

Парсить гугл нужно в любом случае "через браузер" (анонимную вкладку), даже если это делается программно.

Если у Вас нет потребности в промышленных маштабах - обратите внимание на Serp Parser Lite, который программно использует IE - http://serpparser.ru/.

p.s. Использование прокси при кривой парсилке - приводит к бану всех этих проки, сколько бы их небыло.

При корректном парсинге картина выглядет так: парсим - капча - парсим дальше. И никаких 500-х ошибок.

VulkanPartner
На сайте с 27.03.2014
Offline
91
#2

Hack_Daniels, гораздо проще использовать готовые инструменты, тот же А-парсер, например. А прокси и соксы для парсинга можно купить в специализированных сервисах без проблем.

https://perestroika.team/ru/ (https://perestroika.team/ru/) Perestroika Affiliates- ведущая гемблинг-партнерка. RevShare - до 60%. CPA - до 150$.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий