FlowCrawler: универсальный парсер и постер

Пока нет, но есть в дальних планах. При наличии большого спроса на данную возможность - можно будет сделать раньше.

Да, можно. В текущей версии доступно изменение User Agent и Referer. В ближайшей перспективе будет возможность изменять вообще любые заголовки, отправляемые браузером.

Думаю сможет, хотя разумеется есть куча внешних факторов (тип задачи, тяжесть целевых сайтов и тп). В общих чертах я бы пока ответил так - если железо способно запустить 200 процессов голого Chromium (без плагинов и тп) с нужным сайтом - то и FlowCrawler будет работать. Потому что основную нагрузку создаёт как раз Chromium, а оверхед от управляющей логики крайне незначителен.

На данный момент есть возможность эмулировать события мыши (клики, наведение и тп) на нужных элементах страницы. Этого достаточно для большинства задач. Если же вопрос был о натуральной эмуляции движения (когда двигается сам системный курсор), то эта возможность появится в будущем.

Вам удалось протестировать софт на Яндексе? Какая максимальная нагрузка была достигнута?

юни, длинный тест на эту тему еще не делал.

Сейчас запустил задание для 265 поисковых фраз (заходим на яндекс, вводим фразу, парсим ссылки с первой страницы - анкор+url). На древнем офисном ПК (AMD Athlon II X2 220, 8gb RAM, Linux Mint) собрал 3589 ссылок за 14 минут. Без проксей, без очистки кук, за один приём.

Т.е. четыре или пол-запроса в секунду? Это в один поток?

А была авторизация в сервисах Яндекса? Я.Элементы установлены? На машине стоит что-либо из их софта (браузер, пунтосвитчер и пр.)?

Да, в один поток. Такая скорость обусловлена тем, что браузер грузит все скрипты и стили страницы. Это помогает ему выглядеть живым. Плюс, по-умолчанию все действия бота имеют микрозадержки (200мс между кликами, например). Они служат той же цели, но при желании их можно уменьшать.

Нет. Ни авторизации, ни софта (тестил под Linux Mint).

Тут уместнее рандом, причём нелинейный. Как и ввод запроса с отработкой посказок, если уж на то пошло.

Это уже лучше.

В целом, для промышленного парсинга нужно увеличить количество потоков на порядок-полтора, а скорость попытаться довести до 1-3 запросов в секунду. Тогда можно будет говорить о практическом применении софта в определённых нишах.

Если не возникнет проблем с капчей и другими видами блокировок.

Позже попробую тот же эксперимент в несколько потоков, отпишу здесь результат.

С этим проблем нет. Можно не нажимать Enter, а кликать по первой подсказке, например.

---------- Добавлено 18.04.2017 в 21:00 ----------

Попробовал

Комп: i5 2500K, 8GB RAM, Windows 7

Поисковых фраз: 265

Потоков: 4

Результат: Собрано 3576 ссылок за 3 мин 46 сек (без прокси)

То есть на нормальной машине в несколько потоков всё работает ощутимо быстрее.

Выпущено очередное обновление программы.

Теперь она умеет работать с изображениями.

Ранее в этой теме я приводил несколько теоретических примеров возможностей программы. Снял на видео реализацию первого из них:

Осталось всего несколько дней до окончания хороших скидок.

Все подробности здесь: http://flowcrawler.com/buy

Стала доступна полная и подробная документация по программе:

http://flowcrawler.com/ru/docs