AGGRESS Parser 2.0

aggress
На сайте с 02.06.2006
Offline
53
#51
Jafar:
У меня такая вот конструкция: <span class="break">...</span> <a href="/search/?q=555" class="Next">next</a>
Как ни извращался - не работает?

А где тут {NEXTLINK}?

AGGRESS Doorway Generator (http://aggresscorp.com/?p=23)
strukoff
На сайте с 13.03.2008
Offline
101
#52

А подскажите пожалуйста, как можно по одному запросу вытянуть более 1000 ссылок, это вообще реально? Очень надо :)

L!mur
На сайте с 26.06.2006
Offline
176
#53
strukoff:
А подскажите пожалуйста, как можно по одному запросу вытянуть более 1000 ссылок, это вообще реально? Очень надо :)

Разбивай запросы на подзапросы.

Было: inurl:guestbook и результатов 12,600,000

Стало: inurl:guestbook.html и результатов 341,000

inurl:guestbook.php и результатов 1,530,000

И так далее дроби по признакам, комбинируй операторы.

10'000 руб/сутки на SEDv4 «MobyDick»! (/ru/forum/comment/12653555) Нужен трафик? Купи «SED» (http://www.sedv4.ru) 5'000 руб/сутки на SEDv3 (/ru/forum/comment/11641425) Для работы с Twitter только TwiFarmv3! (/ru/forum/839117)
Newmanseo
На сайте с 02.02.2010
Offline
71
#54
Jafar:
Все там открыто.

Если зайти в открытую статистику Li любого сайта, ссылка - "по поисковым фразам" доступна только по паролю! Соответственно из ливера ничего уже не вытянуть

Сгенерировать и импортировать.
Serega75
На сайте с 10.09.2009
Offline
71
#55
strukoff:
А подскажите пожалуйста, как можно по одному запросу вытянуть более 1000 ссылок, это вообще реально? Очень надо :)

inurl:"guestbook" viagra

inurl:"guestbook" soma

inurl:"guestbook" cialis

inurl:"guestbook" и т.д.

Возьми словарь и делай подстановку.

Serega75 добавил 01.04.2010 в 20:44

2> К.О. посты набиваем?

Уважаемый мудак, ты хоть ник оставляй. Я на этом форуме общаюсь, здесь не Нуллед, что бы посты набирать.

А на графу "Репутация:" мне глубоко на.....))))

L
На сайте с 26.01.2010
Offline
43
#56

вот наткнулся на проблемку. делаю запрос к гуглу, количество результатов - 9000. парсер работает до 4 ой страницы и затихает. посмотрел на последнюю сохраненную страницу и увидел, что хитрожопый гугл блокирует парсер путем показывания линка что мы де опустили результаты похожие на уже показанные - а реально там нифига не похожие. да и если в браузере выполнить запрос то количество страниц внизу гораздо больше . Че делать, как обойти?

Ищу. Чего - не знаю.
.0
На сайте с 16.06.2009
Offline
8
.20
#57

к урлу запроса добавить &filter=0 и/или &safe=off

или сам запрос разбивать

L
На сайте с 26.01.2010
Offline
43
#58

интересная мулька...

если запрос представляет собой inurl:blahblah.php то ни фига не работает. вообще ничего не происходит.

тут же меняю запрос на что то вроде пластиковые окна - работает на ура. в чем засада порылась?

речь идет о гугле. строка поиска выглядит так AbsoluteUrl-http://www.google.com/search?&q={REQUEST}&ie=utf-8&oe=utf-8&num=100&filter=0

lowfreq добавил 07.04.2010 в 11:26

гм понял в чем беда... гугл собака на все запросы с inurl: предлагает ввести капчу.

Jafar
На сайте с 04.06.2008
Offline
48
#59
aggress:
А где тут {NEXTLINK}?

Это был кусок исходного кода. Вот макрос:

UntilNextLinkAfter-<span class="break"><a href="{NEXTLINK}">

O
На сайте с 06.05.2009
Offline
51
olg
#60
lowfreq:
гм понял в чем беда... гугл собака на все запросы с inurl: предлагает ввести капчу.

причем не с сразу..

А вот как это обойти - вот вопрос.. :( Доделать бы отгадывание капчи через сервис.. 🚬

--

Обычные запросы(без inurl) нормально отрабатывают. Проверил только что.

Биржа копирайтеров (http://www.etxt.ru/?r=riptor) - где я заказываю контент.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий