GoogleImageFinder - парсер изображений

Хорошая программа. Правда ещё бы настроек добавил поболее :)

Приобрел программу и еще такую же по Яндексу!

Доволен как слон :) пробовал неделю с CD и парсингом... но в итоге плюнул и написал автору и приобрел GoogleImageFinder и YandexImageFinder (если брать бандл - то скидка есть).

По моей просьбе добавил функционал в экспорт.

Ранее программа экспортировала запрос:имя урла изображения.

Требовалось в локальном формате запрос:имя_сохраненного_изображения.jpg

Что и за несколько часов ввел ТС.

Рекомендую и сам доволен :) кстати порадовал алгоритм программы:

Если по запросу не может взять изображение, пробует взять с другого урла и т.д. т.е. не споткнулся и пошел дальше, а продолжает трудиться как раб)

Пример: http://img-fotki.yandex.ru/get/9767/77677229.70/0_8f42e_3b1697ae_orig.png

Как пожелание сразу иметь чистый экспорт в CSV формате :) (сейчас делается из xls (excel)).

Софт еще не купил, но протестировал бетку по полной:

Запустил 20 копий программы с разных каталогов (проц Intel i7-3770K + 16 GB RAM позволили). Загрузил в них списки с ключами, настроил чтобы искало по 20 картинок на ключ и все в одноименную папку с названием ключа сохраняло. Ожидаемый финал – бан гугла где-то на 800-том ключе :).

Встроенный прокси-модуль что-то не работает, не получилось на персональных прокси обойти бан. Но это не беда, - утилитой proxifier настроил каждую копию программы на отдельный прокси при парсинге доменов гугла, а файлы картинок тянуло напрямую.

По такой схеме в минуту успевало обработать ~ 60 ключей (1200 картинок). Но через минут ~30 начинает плавно падать скорость, через 3 часа было уже 10 ключей\минуту. Попускает сразу как очистить полностью журнал (кнопка «Очистить URL). Так что очень бы хотелось что-то типа чек-бокса «авто-очистки URL» или «отключения лога». Я просто сидел и пару раз в час сам очищал, чтобы скорость не падала.

По нагрузкам при такой схеме:

• Нагрузки на CPU практически нет (10-20% все время), немного поднимается при заполнении лога.
• А вот RAM под конец забило полностью (1 процесс жрал до 700 мб памяти). Файл подкачки отключен, так как RAM=16 GB. Очистка журнала не помогает, только закрытие процесса программы освобождает память.
• сеть нагружает на уровне 5-20 мбит\с, в зависимости от падений скорости обработки.

В итоге обработал за сутки 35К ключей = 700 000 картинок = 85 ГБ. Довольный как слон. Так как на подобных парсерах от конкурентов не получалось добиться подобного результата. В основном они страдали сильными нагрузками на и так нехилое железо при попытках ускорить процесс сбора многопоточностью, либо очень часто пропускали часть данных (не парсили ключ до конца, упускали некоторые ключи, даже путали картинки ключей в разных каталогах). Здесь тоже вижу погрешности в виде пустых папок без картинок, но их очень мало (~0,0005 часть).

Списался утром с автором, прикупил прогу, он оперативно внес правки в софт, теперь все должно летать даже на высоких нагрузках.

Вы о пользователях подумайте, такое кол-во настроек, глаза в кучу.

Раскидайте по вкладкам, сделайте что-то вроде мастера настроек.

P.S. Софт норм

Гоняю софтину уже сутки, полет отличный, парсит довольно шустро и то, что надо.

В общем и целом доволен, свои 20$ точно стоит.

В чем разница между 5.5 и 5.6 в программе? changelog на сайте старый.

Купил обе программы (GoogleImageFinder + YandexImageFinder) Работают как часы. Систему не грузят, ошибок не наблюдается. Есть все необходимые настройки. Своих денег однозначно стоят.

AVG пишет троян Generic 11_c

Dr.Web версию с Яндекс.Диска в онлайне проверил, все в порядке.