FlowCrawler: универсальный парсер и постер

F
На сайте с 11.04.2017
Offline
1
15095

Здравствуйте.

Меня зовут Владимир Обухов, я создаю программы для вэба. Некоторые из вас могут знать меня как автора и одного из ведущих разработчиков InstantCMS - отечественного движка для социальных сайтов. Сегодня я хочу представить вам новый проект. Он по-настоящему крут

FlowCrawler - программа для автоматизации браузера. Она позволяет автоматически собирать и/или публиковать данные в Интернет. По сути, это визуальный конструктор ботов. В нём всё делается мышкой, писать регулярки и селекторы руками не обязательно.

В отличие от традиционных парсеров и постеров, FlowCrawler не заточен строго под определенные сайты. Вместо этого, он позволяет вам создавать любую собственную логику в виде блок-схемы. Вы определяете алгоритм, а бот делает любую работу - парсит сайты или сторонние API, скачивает файлы, заполняет формы и много чего еще. В рамках одного проекта бот может парсить и постить на множество сайтов одновременно.

Ближайший (и, пожалуй, единственный) известный аналог - знаменитый ZennoPoster. Однако, FlowCrawler это не клон ZP. Он использует другой подход к созданию схем. И стоит гораздо дешевле (об этом в конце поста).

Основные возможности программы

  • Основано на Chromium;
  • Доступны версии для Windows (7+) и Linux;
  • Полная натуральная эмуляция браузера и живого пользователя;
  • Парсинг: Направьте FlowCrawler на нужный URL и покажите, каким путём вы хотите пройти по сайту и какие части страниц извлечь;
  • Лёгкость настройки - никаких регулярных выражений для выборки со страниц;
  • Постинг: Автоматически заполняйте формы и выполняйте любые действия на целевых сайтах;
  • Обработка данных: фильтруйте, изменяйте, комбинируйте любые данные (строки, числа, JSON) в процессе парсинга;
  • Интеграция с ОС: запускайте внешние программы с нужными аргументами в процессе парсинга и читайте их вывод, изменяйте локальные файлы и папки;
  • Экспорт в CSV, JSON, XML и другие форматы;
  • Работа с файлами: чтение, копирование, удаление, создание папок, рекурсивное чтение папок;
  • Работа с изображениями: загрузка, изменение размера, обрезка, сохранение;

Эмуляция живого пользователя

  • FlowCrawler не отличим от живого человека для любого сайта;
  • Все сайты грузятся в настоящем браузере (в фоне или на виду), что позволяет обходить большинство проверок на ботов;
  • Возможность эмуляции действий мыши, нажатий кнопок, скроллинга, событий JavaScript и др;
  • Возможность настройки User Agent, Referer и других заголовков;
  • Автоматический подбор, подключение и ротация прокси;

В ближайших планах

  • Планировщик - инструмент для запуска проектов FlowCrawler по расписанию в фоне;
  • Интеграция с распознавателями каптч и другими полезными сервисами;

Это далеко не всё, т.к. описать полный набор возможностей в рамках одного поста было бы проблематично.

Видео-примеры:

Все видео: http://flowcrawler.com/video

Покупка программы

На данный момент программа находится в активной разработке и доступна в раннем доступе. Это значит что вы уже можете купить её и начать пользоваться прямо сегодня, но некоторые функции еще не готовы и появятся ближе к релизу. Апдейты выходят в среднем каждые 2 недели.

Официальный релиз программы состоится 1 мая 2017.

Стоимость программы после релиза составит 8900 руб.

(за 1 пользователя + год обновлений).

А теперь самое интересное:

До релиза, т.е. прямо сейчас, программу можно купить по специальной цене - всего 4900 руб. Кроме того, при покупке в раннем доступе, бонусом вы получите бесплатную вечную подписку на обновления, которую не нужно будет продлевать за деньги каждый год!

В этой теме буду рад ответить на ваши вопросы. Ещё больше буду рад вашим покупкам, т.к. они помогают мне не отвлекаться на стороннюю работу и быстрее доводить FlowCrawler до совершенства. Да и когда ещё можно будет увидеть столь щедрое предложение на подобное ПО?

Как купить программу написано здесь: http://flowcrawler.com/buy

PS: Бесплатного теста нет по двум причинам. Во-первых, я не хочу прямо сейчас тратить уйму времени на создание защиты триальных версий (лучше сделать что-нибудь полезное в самой программе). Во-вторых, программой уже пользуются более 50-ти человек, купивших её вслепую, по предзаказу. Они сделали это чтобы поддержать меня и разработку.

Дополнительная информация

Официальный сайт: http://flowcrawler.com

Почта для вопросов: support@flowcrawler.com

Обсуждение на форуме InstantCMS: http://www.instantcms.ru/forum/thread26894-1.html

Спасибо, что уделили время этому посту.

dosto
На сайте с 25.08.2011
Offline
45
#1

Реально классная программа. Спасибо!

Z0
На сайте с 03.09.2009
Offline
756
#2

Интересная штука :)

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#3

не впечатлило, зенка и хуман будут лучше, из платных, сейчас уже и бесплатных таких есть.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
TF-Studio
На сайте с 17.08.2010
Offline
334
#4

последнее время модно предпродажи. и потом пропажи автора

есть бесплатные аналоги...

пока вы не выкатите рабочую версию - сравнивать даже не выйдет.

все сравнения из ваших фантазий

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#5

TF-Studio, да это вообще прикол, за столько бабла продавать еще не вышедшую, никому не известную программу от имени свежерега ))) Тут бесплатную гдето в соседних темах пиарили, вышедшую, намного круче по функционалу, так еще людей упрашивали чтоб взяли потестить, бесплатно, и желающих особо небыло.

FCDev, если хотите реально что-то толкнуть, то сейчас вам нужно поступать примерно также: предлагать ее бесплатно некоторое время всем желающим, типа на год бесплатно всем кто в ближайшие месяцы захочет, а более трастовым юзерам так еще и доплатить, чтоб они взяли ее поюзать и оставили отзыв.

Я много юзаю в своей работе автоматизаций (хуманом), заявленная вами работа на линуксе это конечно некоторый плюс, мне винда до ужаса надоела, приходится ее ради хумана держать, но я б и бесплатно врятли взял вашу программу взял, пока она конкретно так себя не зарекомендует на рынке браузерных автоматизаций.

F
На сайте с 11.04.2017
Offline
1
#6
TF-Studio:
последнее время модно предпродажи. и потом пропажи автора

Согласен. Но здесь, конечно, не тот случай. Другой мой проект, упомянутый в посте (InstantCMS) работает с 2008 года (в т.ч. с продажей платных дополнений). И никто никуда до сих пор не пропал. Официальный сайт компании - instantsoft.ru - тоже работает более 6 лет и контакты там не менялись всё это время. Они по-прежнему доступны. Сомневающимся могу продемонстрировать еще массу доказательств того, что я - реальный человек, давно работающий в рунете и никуда не пропадающий. Я делаю бизнес, а не пытаюсь кого-то обмануть. Да и речь в моём посте идёт о раннем доступе, а не о "предпродаже".

TF-Studio:
пока вы не выкатите рабочую версию - сравнивать даже не выйдет.
foxi:
продавать еще не вышедшую, никому не известную программу

Может я как-то неудачно выразился, но в посте четко сказано что программа в раннем доступе - она работает, её можно купить и пользоваться хоть прямо сейчас. Более 50-ти человек уже сделали это и уже используют программу в реальных проектах. Поэтому данные обвинения мне не совсем понятны.

TF-Studio:
все сравнения из ваших фантазий

Какие сравнения? Каких фантазий? Программа есть, она работает, есть разные видео где показано как она работает, есть реальные пользователи, есть форум программы. О каких фантазиях речь не понятно.

foxi:
Тут бесплатную гдето в соседних темах пиарили, вышедшую, намного круче по функционалу

Ссылкой не поделитесь? Возникают некоторые сомнения в истинности данного утверждения. Точнее, смущает фраза "намного круче по функционалу".

foxi:
предлагать ее бесплатно некоторое время всем желающим

У меня нет инвесторов, оплачивающих подобные маркетинговые акции. Я веду разработку за свой счёт. Дело в том, что вы оцениваете меня как очередного "умельца", смастерившего что-то в свободное время. Но в моём случае это не хобби, не баловство, не стремление "срубить деньжат на пивко". В моём случае это бизнес. Сейчас я работаю только над этим проектом, вкладываю деньги. Поэтому, очевидно, мне нужна отдача. Вы же не станете предлагать раздать всё бесплатно тем, кто выпускает игры в раннем доступе в Steam, например. Или, что еще смешнее, пусть они "доплатят трастовым игрокам".

foxi:
пока она конкретно так себя не зарекомендует

Это вопрос времени.

Друзья, я не пытаюсь здесь никого обмануть или что-то "толкнуть". Я просто пришел чтобы рассказать вам о проекте, который работает, живёт и развивается. И будет жить и развиваться независимо от того, заклеймите вы меня мошенником или нет. Просто сейчас проекту нужна поддержка и поэтому я предлагаю всем, кому это интересно, приобрести отличную программу на старте и нормально так сэкономить. Это честно, я думаю.

PS: по поводу "свежерега" - у меня, оказывается, есть еще один аккаунт, созданный в 2008. С него я отвечал на вопросы по InstantCMS. Так же, на стадии запуска. Вспомнил про него только после вашего ответа.

TF-Studio
На сайте с 17.08.2010
Offline
334
#7

парсить ПС на вашей программе - выйдет без капч?

какой объем фраз в сутки на i5 (+16ram)

многооконный парсинг, а задержками, чтобы не было банов и капч.

интерес - живой

прокси -само собой есть

вопрос в том, сколько ваше решение выдержит

F
На сайте с 11.04.2017
Offline
1
#8
TF-Studio:
парсить ПС на вашей программе - выйдет без капч?

С точки зрения ПС, FlowCrawler - это обычный браузер с живым пользователем. То есть капчу вы будете получать на тех же основаниях, на которых это происходит при ручной работе с ПС. Подозрительной может быть только скорость, но в проекте, конечно же, можно использовать задержки.

TF-Studio:
какой объем фраз в сутки на i5 (+16ram)

Не уверен что правильно понял вопрос. У меня i5 + 8gb, вся структура категорий Авито (~4.5k названий категорий с учетом вложенности) спарсилась за ~4 часа (то есть бот заходил в каждую категорию, потом в каждую её подкатегорию и тд). Поскольку программа постоянно в разработке - скорость будет расти с новыми апдейтами.

TF-Studio:
многооконный парсинг, а задержками, чтобы не было банов и капч.

Да, всё это возможно.

kxk
На сайте с 30.01.2005
Offline
970
kxk
#9

FCDev, Беру со скидкой 85% и оплатой через неделю:)

Ваш DEVOPS
F
На сайте с 11.04.2017
Offline
1
#10

kxk, Поздравляю! А по данной теме есть что сказать? :D

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий