Парсер за так

12
V
На сайте с 13.12.2007
Offline
20
#11
happymax:
inurl:guestbook.php?act=new (если посмотреть через браузер, примерно 798 результатов) или просто ввести "guestbook" парсит 102 линка, если помотреть через браузер результатов больше 161 000 000.
На сколько мне известно с запроса без прокси можно парсить от силы пару сотен, через прокси до 1000.
PS:но все равно, как по мне, парсер хорош.

До 1000 можно напарсить и без проксей:), а вот с inurl надо осторожнее, часто банит за этот оператор.

A1
На сайте с 26.07.2007
Offline
50
#12
voky:
До 1000 можно напарсить и без проксей:), а вот с inurl надо осторожнее, часто банит за этот оператор.

Повторяюсь: это первый опыт и в "тонких материях" типа прокси я пока не шарю. Но, насколько я понимаю, использование прокси важно для спамилки, а для парсера это не очень принципиально...

Я не прав?

Приму с благодарностью любые советы и помощь (начиная с теории) в написании десктоптной спамилки!

А по поводу "до 1000" - так вручную это делать долго... Хотя, каждому - свое...

Грибы и грибочки (http://rus-agaric.ru) :))
H
На сайте с 26.07.2007
Offline
36
#13
Adm123:
А для обработки баз прогу пишу - это будет отдельная утилита.

А что именно в проге будет? Будет платная или фри? Когда приблизительно будет?

A1
На сайте с 26.07.2007
Offline
50
#14
happymax:
А что именно в проге будет? Будет платная или фри? Когда приблизительно будет?

Будет фри. С такой же рекламкой внизу. Доделаю, наверно, после праздников, а то я ща бухаю... :)

Можно будет чистить базу от дублей и сравнивать 2 базы по принципу "грохнуть дубли из 1ой/2ой или вынести дубли в новую". Возможно, допишу сортировку по PR и/или ТИЦ. Ссылку для скачки размещу на том же http://tospam2008.narod.ru

Или редирект сделаю...

serg-e
На сайте с 21.09.2007
Offline
152
#15

Нормуль! продолжай. еще бы для яндекса.

(рекламку показывай не с сайта народа, не онравишся админу за чтони-будь уберут ак. и реклама пропадет. зарег свой домен!)

A1
На сайте с 26.07.2007
Offline
50
#16
serg-e:
Нормуль! продолжай. еще бы для яндекса.
(рекламку показывай не с сайта народа, не онравишся админу за чтони-будь уберут ак. и реклама пропадет. зарег свой домен!)

Яндекс, ИМХО, не так интересен, потому что в его языке запросов нет такой классной штуки как inurl. Но, возможно... Если практика покажет, что прога народу интересна - сделаю.

А рекламку показываю с народа через редирект - как раз на случай бана и с тем расчетом, чтоб можно было потом на серьезный сайт юзера отправить. Свой домен, конечно, надежнее, но пока я не пришел к выводу - окупится ли он...

A1
На сайте с 26.07.2007
Offline
50
#17
happymax:

На сколько мне известно с запроса без прокси можно парсить от силы пару сотен, через прокси до 1000.

Парсить можно до 1000 и без проксей. Именно поэтому ограничено количество результатов выдачи (max 999)

happymax:
PS:но все равно, как по мне, парсер хорош.

Спасибо! Общение на этом и других форумах выявило возможные улучшения. После праздников реализую.

mih4
На сайте с 15.04.2007
Offline
145
#18

меняете запрос в парсере inurl:guestbook.php?act=new

на

"guestbook.php?act=new" -intext:"guestbook.php?act=new"

почитайте здесь _ttp://kak-tak.com/seo-6.php тема старая....

обходим ограничения на 1000 и нет бана от гугли за inurl:

A1
На сайте с 26.07.2007
Offline
50
#19
mih4:
меняете запрос в парсере inurl:guestbook.php?act=new
на
"guestbook.php?act=new" -intext:"guestbook.php?act=new"
обходим ограничения на 1000 и нет бана от гугли за inurl:

Т.е. нужно всего лишь добавить кавычки?! Не проблема. Спасибо за совет! Будет реализовано после праздников!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий