Парсер за так

12
A1
На сайте с 26.07.2007
Offline
50
2329

Десктопный парсер выдачи Google. Сохраняет базу в txt-формате. Выдает заданное количество результатов поиска. Парсит с любой страницы до конца выдачи. Не берет ссылки на сам Google - только на результаты поиска. Никаких наворотов, только функционал.

Писал сам, поэтому просьба оч сильно не пинать. И буду благодарен за комменты - чего добавить/убрать.

Взять можно на http://tospam2008.narod.ru.

Грибы и грибочки (http://rus-agaric.ru) :))
WwWork
На сайте с 07.02.2006
Offline
150
#1

хм.. вроде не троян. работает.

A1
На сайте с 26.07.2007
Offline
50
#2

Никаких троянов! Все честно! Там же рекламка крутится в надежде на благодарность юзера, так зачем же я ему ср*ть буду?!

WwWork
На сайте с 07.02.2006
Offline
150
#3
Adm123:
так зачем же я ему ср*ть буду?!

Есть и такие БОБродеятели.

[Удален]
#4
Adm123:
Никаких троянов! Все честно! Там же рекламка крутится в надежде на благодарность юзера, так зачем же я ему ср*ть буду?!

Интересно, какой выхлоп от рекламы на подобных десктопных софтах?

A1
На сайте с 26.07.2007
Offline
50
#5

Да, деятели есть разные...

А про выхлоп не знаю - первый опыт ))

Самому любопытно - чего получится...

G4
На сайте с 11.03.2006
Offline
125
#6

номральный парсер вроде ниче так

Выкупаем места на крупных фильмовых и игровых сайтах!!ДОРОГО!!. Стучите 58five275.
H
На сайте с 26.07.2007
Offline
36
#7
Adm123:
Десктопный парсер выдачи Google. Сохраняет базу в txt-формате. Выдает заданное количество результатов поиска. Парсит с любой страницы до конца выдачи. Не берет ссылки на сам Google - только на результаты поиска. Никаких наворотов, только функционал.

Писал сам, поэтому просьба оч сильно не пинать. И буду благодарен за комменты - чего добавить/убрать.

Взять можно на http://tospam2008.narod.ru.

Мне понравился, что быстро работает и есть встроенный браузер. Как сделать, чтобы парсил до конца выдачи? К примеру один запрос в гугле выдает 700 с хвостом ресов, а парсятся только 200 с мелочью. Добавить: PR чекер, чтобы можно было удалять дубли и мертвые ссылки.

A1
На сайте с 26.07.2007
Offline
50
#8
happymax:
Мне понравился, что быстро работает и есть встроенный браузер. Как сделать, чтобы парсил до конца выдачи? К примеру один запрос в гугле выдает 700 с хвостом ресов, а парсятся только 200 с мелочью. Добавить: PR чекер, чтобы можно было удалять дубли и мертвые ссылки.

Парсит до конца, разве нет?! Приведите пример запроса, плз! А для обработки баз прогу пишу - это будет отдельная утилита.

H
На сайте с 26.07.2007
Offline
36
#9
Adm123:
Парсит до конца, разве нет?! Приведите пример запроса, плз! А для обработки баз прогу пишу - это будет отдельная утилита.

inurl:guestbook.php?act=new (если посмотреть через браузер, примерно 798 результатов) или просто ввести "guestbook" парсит 102 линка, если помотреть через браузер результатов больше 161 000 000.

На сколько мне известно с запроса без прокси можно парсить от силы пару сотен, через прокси до 1000.

PS:но все равно, как по мне, парсер хорош.

A1
На сайте с 26.07.2007
Offline
50
#10
happymax:
inurl:guestbook.php?act=new

Попробуйте ввести ИМЕННО ЭТОТ запрос. На третьей сотне в браузере - ошибка. Прога работает корректно.

Я не претендую на звание специалиста, делаю проги для облегчения собственного труда и буду рад, если они помогут еще кому...

В качестве совета - попробуйте переформулировать запрос.

В качестве ответа - возможно, введу в программу help по языку запросов или сделаю "запросную" менюшку - в зависимости от отзывов.

В качестве общения - спасибо за критику!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий