FCDev

Рейтинг
1
Регистрация
11.04.2017
Веб-(и не только)-программист. Автор InstantCMS, FlowCrawler и множества других проектов.

Стала доступна полная и подробная документация по программе:

http://flowcrawler.com/ru/docs

Выпущено очередное обновление программы.

Теперь она умеет работать с изображениями.

Ранее в этой теме я приводил несколько теоретических примеров возможностей программы. Снял на видео реализацию первого из них:

FCDev:
1) Взять папку с фотками на жестком диске, рекурсивно пройти её. Для каждого JPG-файла прочитать EXIF и получить координаты места съемки. С этими координатами открыть маркер на гуглокарте, сделать нужный масштаб, заскриншотить. Обрезать и уменьшить скриншот, наложить его в левый нижний угол исходного фото, сохранить в другую папку. На выходе получить на каждой фотке миникарту с местом съемки в уголке. (все манипуляции с изображениями делаются встроенными средствами, без всяких веб-сервисов).

Осталось всего несколько дней до окончания хороших скидок.

Все подробности здесь: http://flowcrawler.com/buy

Позже попробую тот же эксперимент в несколько потоков, отпишу здесь результат.

юни:
Как и ввод запроса с отработкой посказок

С этим проблем нет. Можно не нажимать Enter, а кликать по первой подсказке, например.

---------- Добавлено 18.04.2017 в 21:00 ----------

Попробовал

Комп: i5 2500K, 8GB RAM, Windows 7

Поисковых фраз: 265

Потоков: 4

Результат: Собрано 3576 ссылок за 3 мин 46 сек (без прокси)

То есть на нормальной машине в несколько потоков всё работает ощутимо быстрее.

юни:
Т.е. четыре или пол-запроса в секунду? Это в один поток?

Да, в один поток. Такая скорость обусловлена тем, что браузер грузит все скрипты и стили страницы. Это помогает ему выглядеть живым. Плюс, по-умолчанию все действия бота имеют микрозадержки (200мс между кликами, например). Они служат той же цели, но при желании их можно уменьшать.

юни:
А была авторизация в сервисах Яндекса? Я.Элементы установлены? На машине стоит что-либо из их софта (браузер, пунтосвитчер и пр.)?

Нет. Ни авторизации, ни софта (тестил под Linux Mint).

юни, длинный тест на эту тему еще не делал.

Сейчас запустил задание для 265 поисковых фраз (заходим на яндекс, вводим фразу, парсим ссылки с первой страницы - анкор+url). На древнем офисном ПК (AMD Athlon II X2 220, 8gb RAM, Linux Mint) собрал 3589 ссылок за 14 минут. Без проксей, без очистки кук, за один приём.

j1gs4w88:
Можно ли в Вашей программе реализовывать управление с помощью кода как в Browser Automation Studio и ZennoPoster?

Пока нет, но есть в дальних планах. При наличии большого спроса на данную возможность - можно будет сделать раньше.

j1gs4w88:
Можно ли в программе менять User Agent и другие параметры отпечатка браузера

Да, можно. В текущей версии доступно изменение User Agent и Referer. В ближайшей перспективе будет возможность изменять вообще любые заголовки, отправляемые браузером.

j1gs4w88:
Сможет ли ваша программа работать в 200 потоков предположим в проекте с простым хождением по сайту на железе к примеру 2 x Xeon E5 2670, 128 Gb?

Думаю сможет, хотя разумеется есть куча внешних факторов (тип задачи, тяжесть целевых сайтов и тп). В общих чертах я бы пока ответил так - если железо способно запустить 200 процессов голого Chromium (без плагинов и тп) с нужным сайтом - то и FlowCrawler будет работать. Потому что основную нагрузку создаёт как раз Chromium, а оверхед от управляющей логики крайне незначителен.

j1gs4w88:
Есть ли автоматизация мыши?

На данный момент есть возможность эмулировать события мыши (клики, наведение и тп) на нужных элементах страницы. Этого достаточно для большинства задач. Если же вопрос был о натуральной эмуляции движения (когда двигается сам системный курсор), то эта возможность появится в будущем.

kxk:
А, тут 1 человек

Давно уже не 1 человек. Это же опенсорс. Мы принимаем пулл-реквесты от многих людей. Большинство из них хорошие спецы, зарабатывающие на дополнениях.

И да, бывает что и с Битрикса люди переходят на InstantCMS 2. Потому что, если не нужен 1С, наш каталог контента может потягаться с Битриксом.

Да и вообще, покажите мне другую отечественную опенсорс CMS, у которой есть: 1) подробнейшая документация (для пользователей и кодеров. И это не тупой phpdoc, а статьи написанные людьми). С каждой страницы админки ссылка "Помощь" на нужный раздел; 2) лёгкость создания дополнений доведенная до того, что есть даже генератор компонентов. Свою гостевую книгу можете собрать вообще строчки кода не написав. Там есть видео с пруфом. 3) RU+EN из коробки 4) свой аналог CSS Hero сразу от официальных разработчиков... 5) 15 апдейтов за 2 года....

PS: а еще, знаете сколько берет InstantCMS за продажу дополнений через официальный каталог? Ровно 0%.

У меня сложилось ощущение, что здесь изначально принято хаять то, о чём понятия не имеешь :D

IT-Engineer:
Владимир Обухов, к Вам как разработчику InstantCMS, особого доверия нет. Вторая версия cms-ки была запущена в 2015 году, если не ошибаюсь, прошло достаточно много времени, все допиливаете баги, так и не доработав толком базовый функционал движка.

InstantCMS 2.0.0 вышла в 2015 году. Сейчас версия 2.7.2. За 2 года выпущено 15 апдейтов, многие из которых весьма объемные. Любой может зайти в раздел "Новости" на сайте системы и почитать списки изменений в этих апдейтах. Функционал вырос на порядок. Продукт развивается и растёт. Конструктор типов контента сейчас там мощнее, чем во многих платных движках. Так что, если быть объективными, InstantCMS доказывает обратное - я не забрасываю свои проекты.

IT-Engineer:
Осенью прошлого года хотели запустить портал на двойке, попробовали - отказались.

Жаль такое слышать. Могу только сказать что с осени уже много чего изменилось. Впрочем, может быть движок просто не подошел под вашу задачу. Такое же бывает. Иначе бы все делали сайты на Wordpress.

iskrakovrov:
Вы не там врагов ищите.

Врагов?

iskrakovrov:
Это из программы делается согласно вашему описанию?

Да. В процессе выполнения количество потоков не меняется (по крайней мере, пока).

iskrakovrov:
когда пытаются люди узнать конкурентные преимущества вашего продукта

Так я уже несколько раз ответил по существу всех этих вопросов. Все преимущества и недостатки очень субъективны и сильно зависят от того, как и кем каждая из программ будет использоваться. Кому-то неважна цена, т.к. он уверен в своих силах что-то продать и окупить. Кто-то наоборот, только начинает и этот вопрос существенен. И так со всем. Очевидно, что оценить в таком ключе можно только сделав собственные выводы. Для этого я предоставил подробное описание и почти 1.5 часа видео. Плюс нормально отвечаю на вопросы по существу, разве нет?

iskrakovrov:
начинаете оскаливаться

Вот это вообще странное обвинение. Вся претензия из-за одного вопроса? Да и вопрос этот ведь адекватен, учитывая что это рекламная тема, за которую я заплатил. Я готов рассказывать о своём продукте всё, что вас интересует. Но тот ваш пост не содержал вопросов, вы просто написали какая крутая штука зенка) Так я это знаю и согласен с этим. Просто спросил, как это относится к теме. Извиняюсь, если задел этим. Ссориться ни с кем в мои планы точно не входило.

kxk:
может ТС замаскированный Ростоникс и хочет нам продать продукт дважды?
foxi:
будет прикол, если это окажется переделанной ломанной ранней версией зенки.

Ну то есть вот, люди открыто меня троллят, а врагов ищу всё равно я :D

kxk:
Зенно так неумеет

Зенно так умеет. Нарезает видео не сама программа, а внешняя - ffmpeg. FlowCrawler (как и зенно, насколько я знаю) просто умеет запускать внешние программы с нужными аргументами и читать их вывод.

kxk:
почему не сделаете сравнительного видео?

Да потому что в этом нет смысла. Даже если я смогу придумать такой экслюзивный проект, который можно сделать в ранней версии FlowCrawler, но нельзя в пятой(!) версии зенно - это будет мало кому интересно. Очевидно, что зенно может больше. И моя цель вовсе не доказать вам, что он в чём-то хуже. Моя цель - создать более дешевую альтернативу, по возможностям не уступающую зенно. Может так будет понятнее, наконец?))

iskrakovrov:
А сколько потоков? Не найду никак...

Сколько угодно. Разделение на потоки делается простой вставкой блока "Потоки" в нужное место схемы. Всё, что находится за этим блоком - будет распараллелено на указанное число потоков. Каждый из этих потоков далее можно разделить еще на несколько, при желании.

kxk:
Просто ТС кодер, а не продажник

Да нет, просто вы ищете обязательно "убийцу зеннопостера" и ждёте доказательств этому, а здесь не тот случай. Никто никого убивать не собирается. Зато, человек для которого 14700 это много - теперь будет иметь более доступную альтернативу, только и всего.

---------- Добавлено 15.04.2017 в 13:10 ----------

iskrakovrov:
Потому и пишу, что интересно.
Только ответов нет - обидки одни.

Да не надо лукавить. Фраза "меня устраивает зенно" никакой нагрузки, кроме как показать что вас устраивает зенно не несёт. Отсюда и вопрос, зачем мне эта информация. Я и так достаточно хорошо представляю, что пользователей зенно всё устраивает в нём. Какой еще ответ должен быть на эту фразу, можете пояснить?

12
Всего: 17