Форум Практика оптимизации Сервисы и программы для работы с SE

Консольный парсер google

pssoft
На сайте с 12.04.2010
Offline
37
pssoft
2639

Выкладываю очередную свою разработку - консольный парсер google. Написан на языке программирования Делфи с использованием компонента TsSkinManager. Тулза дает возможность "по тихому" парсить линки из популярного поисковик google. В парсере есть встроенный браузер TwebBrowser, с его помощью вы сможете контролировать весь процесс парсинга, вводить капчу при бане, или задавать параметры парсинга в самом google. Пользоваться парсером несложно. Для начала вам нужно его запустить )). Дальше вбить все ключевые слова в поле запросы и ткнуть кнопку следующий. Парсинг пошел! Теперь нажимаем в окне браузера кнопку End и жмем следующую страницу. После того как отпарсили всю выдачу по первому запросу берем следующий - жмем кнопку следующий )). Как видите все очень просто. Результаты работы парсера google можно видеть в поле Результаты. Награбленное можно сохранять вручную нажатием на кнопку Сохранить или за вас это может сделать программа. Результаты работы парсера google сохраняются в файл parsed.txt который лежит в папке программы. Парсер поисковика google подходит для простых задач таких как парсинг гестов или тематических форумов аля "powered by phpbb" intitle:"форум вебмастеров".

Скрин

Скачать можно тут

http://private-seo-soft.blogspot.com/2011/04/google.html

Интернет магазин активированных по смс аккаунтов (http://www.accs4sale.ru/) Вконтакте / Одноклассники / Loveplanet / Mamba / Gmail / Yandex и пр.
[Удален]
#1

а можна прикрутить смену гео? Например мне нужна штатовская выдача.

kolchakA
На сайте с 19.06.2010
Offline
207
kolchakA
#2
shum32:
а можна прикрутить смену гео? Например мне нужна штатовская выдача.

так если там есть встроенный браузер, то это же можно сделать вручную насколько я помню

pssoft
На сайте с 12.04.2010
Offline
37
pssoft
#3

Да конечно можно и вручную ввести адрес с запросом.

[Удален]
#4

pssoft, ограничение в 1000 сайтов за раз как обошли?

За неделю написали свой парсер, он только еще пейджранк чекает:

есть проблема что при частом обращении к гуглу для получения PR (там обращение идет к toolbarqueries.google.com) нас начинают банить. поэтому пришлось ставить рандомные задержки на обращение к гуглу (что конечно же тормозит программу, потому как теперь больше времени у нее уходит тупо на ожидание). При рандомных значениях от 1 до 2 сек прога сделал примерно 20 тыс запросов к гуглу, потом забанили. при использовании промежутка от 1.5 до 3 сек - еще ни разу не банили, уже 4 суток работает.

kolchakA
На сайте с 19.06.2010
Offline
207
kolchakA
#5
sparsis:
Самый большой недостаток этой программы то, что эта программа не будет работать если у вас нет интернет эксплорера (((

имхо называть это большим недостатком некорректно - такое случается ведь крайне редко - да и кто мешает поставить???

[Удален]
#6

pssoft, требует пароля после скачивания с рапиды.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий