Какой парсилкой/прогой вытаскиваете выдачу серпа Гугла?

1 23
arkadiy_a
На сайте с 11.06.2008
Offline
82
#21
Stas40:
Вам вообще для чего выдача ? Я паршу функционалом inurl,intext,intitle...

Я вот тоже такими запросами интересуюсь)))

Лет 6 назад когда была куча свободного времени пытался вытаскивать больше 1К. Ограничение по доменному имени, база слов для минус-операторов, ограничения по языку документов.

S4
На сайте с 23.08.2010
Offline
68
#22

Не вижу смысла парсить ВСЁ, время дороже, чем разгебать потом г.

Сам же гугл отдаёт вам вначале списка более-менее сносные сайты (на свое усмотрение), зачем же ещё потом за него эту же работу делать ?

Вобщем каждому своё.

php python *nix
Ragger
На сайте с 26.08.2008
Offline
69
#23

пользовался scrapebox - довольно таки не плох, но опять же все познаеться в сравнении, просто с другими не работал

d4k
На сайте с 02.03.2010
Offline
146
d4k
#24
arkadiy_a:
Stas40 расскажите плиз как вам удаетеся парсить больше 1000 по одному запросу?

Легко:

1. Юзать прокси при парсинге;

2. Если запрос выдает значительное кол-во рэзалтов - долбить запросы многократно с перестановкой site:.com, site:.net, и т.д. получая по косарю с каждой доменной зоны...

3. парсить bing, yandex, yahoo, aol по тем же запросам - выдача будет различаться, причем существенно!

4. парсить с помощью перестановки поисковых операторов ("key", "* key", "key *", "~key", "key 1...20" и многое другое))

Pofit! Сотни тысяч результатов)

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий