MIND

MIND
Рейтинг
238
Регистрация
08.03.2007
Terys:
такое впечатление что софт не работает через прокси вообще.
список проксей есть, галка использовать прокси есть. но сразу при запуске вылетают капчи при парсинге вордстата.

Прокси галками в таблице проксей отмечены? Отметить можно вручную, если вы уверены в их доступности, или нажать "Проверить доступность", после чего программа сама отметил живые прокси-сервера.

Demour:
Что-то у меня полный тупняк, никак не могу экспортировать данные в эксель, жму экспорт вписываю имя файла, сохраняю, открываю файл а он пустой.
Офис 2010

Настройки - Интерфейс - Экспорт.

Отметьте нужные колонки. Мы довольно быстро додумались сделать об этом уведомление, но Вы, наверное, успели скачать чуть раньше. В следующем билде в любом случае все будут уведомлены об этом. Да, при экспортировании в csv выгружается текущая открытая вкладка

Maximalist, пока что файлы проектов нужно открывать непосредственно через программу, а не двойным кликом. Насчет последней ошибки - она приводит к невозможности сохранить настройки у уже исправлена (нужно перекачать архивы вручную или дождаться сегодняшнего апдейта). Ошибка эта возникает только у тех, у кого отсутсвует config.xml

Demour, у Вас же в логе написано:

11.02.2011 12:21:32: Время ожидания операции истекло.

Вчера яндекс вордстат, поиск и подсказки у меня тоже в таймаут выходили. Галку "использовать прокси" нужно убрать, если их не используете.

NeoSky:
Пробежался вроде по топику. но похожей проблемы не увидел.
У меня недели 2 назад перестал парситься вордстат, процесс висит какое то время потом пишет что мол выполнено, но данных нет. Прокси не использую, поток один. Зашел через IE в вордстат сразу надо вводить капчу вместе с запросом, может из-за этого? Куки в программе сбрасывал, не помогло.

Настройки вордстата http://s2.itrash.ru/idb/51513fa3188647193c99daab6250eac3/oSnimok.PNG

Ограничение на кол-во слов не мешает? вкладка общие

MIND добавил 10.02.2011 в 17:43

Загружаю прокси в настройках сети, снимаю галку работать через основной ip и ставлю 10 потоков в настройках парсинга выдачи, запускаю - парсинг идет только по одному ip, причем по скорости видно что поток 1, при выдаче капчи вообще все останавливается - смены прокси не происходит.

А галка "Использовать прокси" на вкладке "Сеть" стоит? Попробовал загрузить 3 прокси, поставил 10 потоков и снял "использовать основной ИП". В трафик мониторе ни одно не было снято через основной ИП (все прошли через прокси), а данные появлялись со скоростью в 10 потоков. Потом поставил 1 и 2 потока, прокси загрузил 3 штуки. Съем также идет без использования основного ИП.

Да, кстати. Небольшое замечание по работе проксей (ротации). Если проксей добавлено больше, чем потоков, то основной ИП в любом случае не используется. Разумно ведь? :)

Давайте лучше на примере
Дано: 50 проксей. Нужно спарсить вордстат.
Потоков: 10
Задержка: от 1500 до 2500

Каждый поток получает на обработку равное количество слов. Каждому потоку будет назначено по 5 прокси-серверов, которые он будет менять при каждом новом слове. В итоге один ИП-адрес будет использовать раз в 5*(от 1500 до 2500 мс) ~= 10 секунд

+ еще вопрос
если при парсинге того же вордстата или ЛИ происходит какой-то сбой (недогрузилась страница или еще что), то коллектор пишет 0 или пробует повторно выполнить проверку?

Эм, если нет необходимых данных или сбой, то должен пробовать пробивать заново.

MIND добавил 10.02.2011 в 16:20

Я туплю, или нет возможности задать регион при определении релевантных страниц? Если не туплю, то надо сделать )

Настройки - Парсинг - Поисковая выдача - Регион Яндекса

MIND добавил 10.02.2011 в 16:20

Если можно работать через прокси, то где взять список нормальных прокси с нормальной скоростью?

Нормальные прокси бесплатными не бывают. Купить

MIND добавил 10.02.2011 в 16:21

Выскочила капча, ввел, сразу выскакивает опять и т.д., даже одного значения после вновь введенной не обрабатывает.

На каком сервисе капча вылезла? Использовали ли при этом прокси?

MIND добавил 10.02.2011 в 16:22

Если пробую сменить настройки, нажимаю "сохранить изменения" - программа закрывается без предупреждений.

Это мы вчера упустили момент. Ошибка касается только новых пользователей или пользователей, у которых нет конфига. Попробуйте вручную скачать программу заново через 5 минут. Извините за неудобства.

burunduk:
MIND, дабы можно было объединять проекты и видеть историю изменений :)

Нарисуйте план. Когда будем делать взглянем :).

burunduk:
Саша, когда появится дата парсинга? :)

По каждому слову что ли? Зачем? :)

MIZER:
Спасибо за билд.
А можно конкретнее описать, как именно работает:??

Каждый поток вращает "барабан" проксей. У каждого потока своя "обойма" (если речь идет о многопоточной функции).

Версия 2.0.19 (от 09.02.2011):

- в многопоточных функциях добавлена автоматическая ротация прокси-серверов, если их количество превышает количество рабочих потоков функции (для функций, многопоточность работы которых не предусмотрена, ротация сохраняется);

- добавлена возможность настройки вида файла экспорта;

- в "Настройки - Интерфейс - Прочее" добавлена кнопка очистки сортировки в таблицах;

- добавлена принудительная проверка баланса при сборе статистики аггрегаторов SeoPult, WebEffector, Rookee, *********;

- при появлении окна ручного ввода капчи поле ввода находится в фокусе, а кнопка "Продолжить работу" реагирует на нажатие клавиши ввода (Enter);

- при запуске проверяются настройки прокси-серверов в конфигурационном файле (исправлена ошибка XPath, возникающая из-за недостающей в конфигурационном файле колонки "Сервер");

- таблица прокси-серверов настройках ограничена по высоте, что устраняет неудобство прокрутки вкладки для нажатия клавиши "Сохранить";

- исправлена ошибка с восстановлением режима скроллинга из конфигурационного файла после перезапуска программы;

- в фильтре для колонки отметки вновь появились значения True и False;

Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.

Подробней о покупке программы вы можете узнать по ссылке: http://seom.info/buy-key-collector/

Всего: 3048