A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров - Страница 5 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 18.07.2012, 14:45   #41
kiowas
Эксперт
 
Аватар для kiowas
 
Регистрация: 06.02.2010
Сообщений: 322
Репутация: 18136

По умолчанию Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

В идеале хотелось бы чтобы мониторил кол-во запросов по вордстату (по заранее определенному списку фраз) + регулярно искал позицию сайта по этим запросам, показывал сайты, которые в спец.размещении в яндексе.директе по этим запросам рекламятся, вносил все собранные данные в mysql. Для начала хватит.
kiowas вне форума   Ответить с цитированием

Реклама
Старый 18.07.2012, 17:00   #42
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Подобное можно сделать быстро(всмысле я могу быстро это добавить)
Т.е. будет API для одиночного запроса-результата, соответственно пхп скрипт собирает все результаты и вносит в базу

Подробнее можем обсудить в ICQ 777889 или если нет аськи - скажи какой IM используешь
Forbidden вне форума   Ответить с цитированием
Старый 23.07.2012, 19:43   #43
AlexanderNR
Banned
 
Регистрация: 16.07.2012
Сообщений: 11
Репутация: 10

По умолчанию Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Forbidden, ваш парсер сможет очень быстро спарсить кучу доменов из liveinternet?
AlexanderNR вне форума   Ответить с цитированием
Старый 25.07.2012, 07:05   #44
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Цитата:
Сообщение от AlexanderNR Посмотреть сообщение
Forbidden, ваш парсер сможет очень быстро спарсить кучу доменов из liveinternet?
извиняюсь за долгий ответ, да - может. если речь идет о этой выдачи http://www.liveinternet.ru/rating/ru/index.html то скорость парсинга около 7000 страниц в минуту(выходит 210000 доменов в минуту), это при 1000 потоках с проксями
Forbidden вне форума   Ответить с цитированием
Старый 25.07.2012, 10:02   #45
AlexanderNR
Banned
 
Регистрация: 16.07.2012
Сообщений: 11
Репутация: 10

По умолчанию Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Т.е. весь список лива будет спарсен за 2 минуты?
AlexanderNR вне форума   Ответить с цитированием
Старый 25.07.2012, 19:23   #46
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Цитата:
Сообщение от AlexanderNR Посмотреть сообщение
Т.е. весь список лива будет спарсен за 2 минуты?
Да если там расширенного нет
Forbidden вне форума   Ответить с цитированием
Старый 08.08.2012, 10:26   #47
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Версия 0.9.166

Большое количество исправлений, доводим парсер до идеального состояния!

А так же плановые фиксы в связи с изменением выдачи для SE::Google и SE::Yandex.

В следующих версиях ожидается новый HTTP движок, который не попал в текущую версию в связи с продолжительным тестированием.

Связанные задачи:
Цитата:
Ошибка #163: Some bug in proxycheker
Ошибка #197: Fix not save results after stop\pause + start
Ошибка #198: Fix encoding for non-english for Google, Bing and Yahoo parsers
Ошибка #199: Fix non-english queries parsing with SE::Yahoo
Ошибка #201: Fix Google snippets regex
Ошибка #202: Fix parse custom results with arrays -> server crash
Ошибка #204: Fix SE::Yandex next page regex
Ошибка #210: Fix crash on end of file when file used as iterator
Улучшение #206: Add gzip support for SE::Yandex::TIC
Улучшение #207: UTF-8 auto detect for HTML::LinkExtractor
Улучшение #209: Add gzip support for SE::Google
Forbidden вне форума   Ответить с цитированием
Старый 17.08.2012, 10:03   #48
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Версия 0.9.182

Очень важные изменения:
  • Новый более быстрый HTTP движок
  • Уменьшение потребления памяти
  • Общее увеличение производительности за счет внутренних оптимизаций

Улучшения:
  • HTML::LinkExtractor: новые результаты {cleananchor} - анкор без html кода, и {nofollow} - определяет есть ли nofollow параметр
  • HTML::LinkExtractor: опция Subdomains are internal - считает ссылки со всех сабдоменнов как внутрение
  • Макрос {queriesfile} в Results -> File name - подставляет название файла с запросами

Исправления:
  • Поправлен парсер SE::Google в связи с изменением формата выдачи

Связанные задачи:
Цитата:
Ошибка #211: Fix SE::Google results count regex
Ошибка #212: Fix SE::Google snippets regex
Ошибка #217: Delete tasks with iterator's from completed queue after parser restarting
Улучшение #200: New fast HTTP engine
Улучшение #205: Reduce memory usage by using new http engine
Улучшение #213: Add posibility to use {query} inside arrays in Results format
Улучшение #214: Add {cleananchor} and {nofollow} to results in HTML::LinkExtractor
Улучшение #215: Название исходного файла в results (New macros {queriesfile} in results file name)
Улучшение #219: Add 'Subdomains are internal' option for HTML::LinkExtractor
Улучшение #221: Many internal perfomance improvement and optimizations
Forbidden вне форума   Ответить с цитированием
Старый 27.08.2012, 10:06   #49
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Открылась партнерская программа по продаже A-Parser'a - 50$ с каждого приведенного клиента. Подробнее на сайте парсера.
Регистрируйтесь и свяжитесь со мной для активации аккаунта.

Помимо ICQ 777889 теперь со мной можно связаться через jabber/gtalk forbidden2k@gmail.com
Forbidden вне форума   Ответить с цитированием
Старый 31.08.2012, 10:04   #50
Forbidden
Аспирант
 
Аватар для Forbidden
 
Регистрация: 06.10.2007
Сообщений: 172
Репутация: 9562

ТопикСтартер Re: A-Parser - продвинутый парсер ПС, Google Trust, Suggest, WordStat, PR, Whois, et

Версия 0.9.194

Новые парсеры:
  • SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  • SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер

Новые возможности:
  • Опция, позволяющая парсить разные задания использую одну базу для уникализации, т.е. теперь можно при появлении новых признаков той же категории допарсить только новые результаты в старую базу
  • Возможность залогиниться в 2+ парсера в одном браузере

Всего 12 улучшений и исправлений

Связанные задачи:
Цитата:
Ошибка #222: Fix iterator cleanup when set any error
Ошибка #223: Fix work end when string with zero used in queries/subs files
Ошибка #225: Fix server crash when use Unique queries + iterators + pause start
Ошибка #228: Fix max size handling in http engine
Ошибка #232: Fix pages count on active queue tab
Улучшение #161: Add option for check existing results file for unique before task start(implemented with Keep Unique option)
Улучшение #165: Show old results count when server restart
Улучшение #224: New parser SE::Google::Images - parsing full urls to images, with snippets, width, height and size information
Улучшение #226: New parser SE::Yandex::Direct - direct.yandex.ru parser with total ads count and all ads list(domain, title, text)
Улучшение #227: Allow login to 2+ A-Parser's on same ip/domain
Улучшение #230: Check unique level when restore tasks
Улучшение #231: Disable editing default presets
Forbidden вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 01:04. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны