A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Avatar 99
158502

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:

  • Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
  • Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
  • Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
  • Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
  • Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера

Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:

  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 70 парсеров
  • Создание собственных пресетов
    • Использование регулярных выражений
    • Поддержка XPath
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Создание собственных парсеров
    • Быстрая разработка на JavaScript
    • Многопоточность и работу с прокси обеспечивает A-Parser
  • Распознавание каптчи
    • Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
    • Поддержка CapMonster и XEvil
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, включая работу с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl, Python и NodeJS
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Техническая поддержка
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной документации

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

A-Parser - парсер для профессионалов SEO (/ru/forum/720568) SpySerp.com - бесплатный сервис отслеживания позиций (/ru/forum/944804)
W 79
#1

Шикарный парсер, по скорости нет аналогов. С Net::HTTP модулем парсить можно все что угодно. Софт развивается очень быстро, по желанию автор дописывает модули, весь день онлайн, если возникают вопросы.

Avatar 45
#2

необоснованно дорого

Checker (/ru/forum/491264) - массовая проверка параметров сайтов SE Watcher (/ru/forum/569520) - определение позиций
Avatar 847
#3

Статистика посещаемости доменов как-то учитывается? Через Алексу, или ещё как.

Forbidden:
умеет обходить ограничение в 1000 результатов

Каким образом?

Forbidden:
проверка сайта на траст гугла

Можно подробнее?

A-Parser - парсер для профессионалов (https://a-parser.com/) SEO, маркетологов, арбитражников и SaaS
Avatar 99
#4
sly-boots:
необоснованно дорого

На других форумах уже обсуждалось. Смысл в том что это не парсер написанный на коленке, а софт с очень продуманной архитектурой, который писался продолжительное время. Это вылилось в первую очередь в скорость работы, в скорость дальнейшей разработки(увеличению функционала, добавление новых парсеров).

Можно долго обсуждать ценовую политику, но в части стоимости лицензии в ближайшее время она не поменяется. Можно покупать десяток разных парсеров и мучатся с ними, а можно купить один мой и получить все сразу, и в добавок к этому первоклассную тех поддержку.

На этом попрошу стоимость более не обсуждать.

юни:
Статистика посещаемости доменов как-то учитывается? Через Алексу, или ещё как.

На данный момент парсинг алексы реализован в виде настройки к парсеру Net::HTTP, пример

юни:
Каким образом?

автоматической подстановкой дополнительных запросов

юни:
Можно подробнее?

проверка выдачи гугла на дополнительные блоки к указанному сайту(микроформаты, дополнительные ссылки)

Avatar 847
#5
Forbidden:
автоматической подстановкой дополнительных запросов
проверка выдачи гугла на дополнительные блоки

Можно на конкретных примерах?

Forbidden:
парсинг алексы

А на каких ещё сервисах возможна проверка посещаемости? Массово несколько (сотен) доменов получится проверить?

Avatar 99
#6
юни:
Можно на конкретных примерах?

пример запроса: http://www.google.com/search?ie=utf-8&oe=utf-8&hl=en&q=forum.searchengines.ru&num=10

если первым резалтом идет искомый домен и содержит дополнительный блок ссылок - то считается что у сайта траст

юни:
А на каких ещё сервисах возможна проверка посещаемости? Массово несколько (сотен) доменов получится проверить?

На данный момент по домену можно получить следующие характеристики:

Google PR

Alexa

Google Trust

Google SafeBrowsing - чек на харм

количество страниц в любом из поисковиков Google, Bing, Yahoo, Yandex

количество беков в этих же поисковиках

наличие в DMOZ

язык домена(контента самого сайта)

дату экспайра

IP адресс

отдельно можно следующее выделить:

позиция домена по кейворду в гугле

сбор внутренних\внешних ссылок с домена

парсинг контента с сайта с помощью регулярных выражений

Чего нехватает - с удовольствием добавлю(это делается очень быстро)

+ есть возможность самому писать парсеры с использованием модуля Net::HTTP и опции Parse custom result

юни:
Массово несколько (сотен) доменов получится проверить?

получится, все парсеры поддерживают работу с прокси, можно проверять домены миллионами на большой скорости, более того все вышеуказанные параметры будут парсится одновременно и в результирующем файле можно получить все результаты сразу, например в таком виде:

domain.com - PR: .., Alexa: .., Trust: .., IP: .., Expire: .., и т.д.

domain2.com - ....

или можно в CSV формате, для дальнейшего импорта например в Excel:

domain.com;pr;alexa;trust;google_pages;... и т.д.

Avatar 847
#7

По трасту понятно - а по дополнительным запросам?

Avatar 559
#8
Forbidden:
если первым резалтом идет искомый домен и содержит дополнительный блок ссылок - то считается что у сайта траст

http://www.google.com/search?sclient=psy-ab&hl=ru&client=opera&hs=8rL&rls=ru&channel=suggest&q=dojki.com&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA

почему фигурирует именно траст?

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! (/ru/forum/997717)
Avatar 99
#9
юни:
По трасту понятно - а по дополнительным запросам?

Парсер смотрит сколько гугл выдает по данному запросу результатов и в зависимости от их количества принимает решение добавлять доп запросы или нет, и в каком количестве( на данный момент 3 уровня, все символы от a до z, от aa до zz и от aaa до zzz )

MyOST:
http://www.google.com/search?sclient...B8%D1%81%D0%BA

почему фигурирует именно траст?

Это теория одного знакомого оптимизатора, впринципе имеющая железную логику ( поскольку гугл предоставляет расширенный блок для сайта, то он ему доверяет в той или иной степени ) и имеющая право на жизнь :) Это просто еще один дополнительный способ оценить домен.

Avatar 847
#10
Forbidden:
в зависимости от их количества принимает решение добавлять доп запросы или нет

Вот как раз пример тоже хотелось бы.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий