Парсер Yahoo со 100%-й отдачей!

12
G
На сайте с 28.03.2009
Offline
21
2308

Парсит выдачу яху по введённым запросам. Начинает без проксей, как только бан- меняет прокси и юзает её до следующего бана. Будет долбить текущую страницу выдачи до тех пор пока не получит с неё ссылки. С хорошими проксями будет работать довольно быстро. Работает в один поток. Банит реже чем гугл, поэтому и решил под яху написать парсер. В итоге если в выдаче доступны 1к результатов, то не сомневайтесь он все 1к и спарсит. Работает и на Денвере.

Лично я прокси беру с хрумера им же и прочеканные. В принципе они более менее.

Приобретайте- не пожалеете. Цена 20$

За покупками в аську: 58457двадва78

Сундук со скриптами (http://seosunduk.biz/)
xumukys
На сайте с 23.03.2009
Offline
107
#1

а чем хрефер плох для этих целей?😂

G
На сайте с 28.03.2009
Offline
21
#2

в том что много упускает он

ну и цена не для всех у него

gogres добавил 07.06.2010 в 14:59

Вот небольшой отчёт из парсинга:

Пройдена страница 0 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 1 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 2 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 3 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 4 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 5 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 6 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 7 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 8 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100
Пройдена страница 9 выдачи по запросу "Our users have posted a total" -phpbb.com -phpbb.pl -hacks site:com , собрано 100

gogres добавил 07.06.2010 в 15:17

при средней проксе скорость примерно 3сек на одну страницу выдачи.

Можно отсеивать таймаутом долгие прокси в парсере.

gogres добавил 07.06.2010 в 15:26

дам бесплатно паре человек с нормальной репутацией за отзыв. с этим вопросом в личку

gogres добавил 07.06.2010 в 18:11

С 500 запросов (запрос в принципе один, остальные- подстановки к нему) только что собрал 38к ссылок, это цифра с дублями, как есть в выдаче. причём запросы не очень удачные- многие из 500та отдают менее 100 результатов, а то и 0.

Жду всех в аське :)

N
На сайте с 03.02.2010
Offline
6
#3

покупал у ТС парсер гугла, решил купить и этот. честно говоря незнал, что яху стабильнее, быстрее и не менее качественно парсится чем гугл, всегда как то пропускал мимо ушей парсинг яху. парсит скрипт действительно не пропуская ниодной странички выдачи, старательно собирая все ссылки, скорость терпимая учитывая качество парсинга. при парсинге на экране удобно видно сколько ссылок собрал парсер с каждой страницы выдачи по запросу, что мне лично позволило удалять сразу нулевые запросы.

G
На сайте с 28.03.2009
Offline
21
#4
n1oise:
что мне лично позволило удалять сразу нулевые запросы.

спасибо за мысль. Добавил запись нулевых запросов в отдельный файл, чтоб потом можно было удалить их из базы запросов.

Kyzmit4
На сайте с 09.08.2008
Offline
108
#5

Опять же, на финта, ежели все это прекрасно делает тот же хрефер?

G
На сайте с 28.03.2009
Offline
21
#6
Kyzmit4:
Опять же, на финта, ежели все это прекрасно делает тот же хрефер?

тот же хрефер во-первых стоит не 20$, а во-вторых он много результатов теряет при парсинге из-за плохих проксей и банов поисковиков. у меня есть он, но я им не паршу, поэтому решил написать парсер себе, а заодно и другим :)

П.С.: у меня есть практически все платные паблик парсеры, все с лицензией. думаешь я стал бы просто так себе парсер писать?

Kyzmit4
На сайте с 09.08.2008
Offline
108
#7
gogres:
тот же хрефер во-первых стоит не 20$, а во-вторых он много результатов теряет при парсинге из-за плохих проксей и банов поисковиков. у меня есть он, но я им не паршу, поэтому решил написать парсер себе, а заодно и другим :)

Плохих проксей:)дык ты ж их к своему парсеру оттудва берешь, и хочешь сказать, что твой на хреферовских лучше парсит?:)К сведению, хрефер яху парсит отлично, без каких либо банов

G
На сайте с 28.03.2009
Offline
21
#8
Kyzmit4:
Плохих проксей:)дык ты ж их к своему парсеру оттудва берешь, и хочешь сказать, что твой на хреферовских лучше парсит?:)К сведению, хрефер яху парсит отлично, без каких либо банов

ну давай для сравнения возьмём 10 запросов и попарсим, ты хрефером, а я своим парсером.

sashka_
На сайте с 27.01.2010
Offline
103
#9
только что собрал 38к ссылок, это цифра с дублями

раз ты написал парсер , че нельзя было удалить дубли ? , и 20$ это много, макс 5$, в паблике есть подобное

Знаю PHP, JS, jQuery. Помощь для вашего сайта. (/ru/forum/840509).
G
На сайте с 28.03.2009
Offline
21
#10
sashka_:
в паблике есть подобное

ниразу не встречал, даже интересно. покажи где.

gogres добавил 07.06.2010 в 18:50

sashka_:
раз ты написал парсер , че нельзя было удалить дубли ?

вот именно, я же написал парсер.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий