Terys: такое впечатление что софт не работает через прокси вообще.
список проксей есть, галка использовать прокси есть. но сразу при запуске вылетают капчи при парсинге вордстата.
Прокси галками в таблице проксей отмечены? Отметить можно вручную, если вы уверены в их доступности, или нажать "Проверить доступность", после чего программа сама отметил живые прокси-сервера.
Demour: Что-то у меня полный тупняк, никак не могу экспортировать данные в эксель, жму экспорт вписываю имя файла, сохраняю, открываю файл а он пустой.
Офис 2010
Настройки - Интерфейс - Экспорт.
Отметьте нужные колонки. Мы довольно быстро додумались сделать об этом уведомление, но Вы, наверное, успели скачать чуть раньше. В следующем билде в любом случае все будут уведомлены об этом. Да, при экспортировании в csv выгружается текущая открытая вкладка
Maximalist, пока что файлы проектов нужно открывать непосредственно через программу, а не двойным кликом. Насчет последней ошибки - она приводит к невозможности сохранить настройки у уже исправлена (нужно перекачать архивы вручную или дождаться сегодняшнего апдейта). Ошибка эта возникает только у тех, у кого отсутсвует config.xml
NeoSky: Пробежался вроде по топику. но похожей проблемы не увидел. У меня недели 2 назад перестал парситься вордстат, процесс висит какое то время потом пишет что мол выполнено, но данных нет. Прокси не использую, поток один. Зашел через IE в вордстат сразу надо вводить капчу вместе с запросом, может из-за этого? Куки в программе сбрасывал, не помогло.
Ограничение на кол-во слов не мешает? вкладка общие
MIND добавил 10.02.2011 в 17:43
Загружаю прокси в настройках сети, снимаю галку работать через основной ip и ставлю 10 потоков в настройках парсинга выдачи, запускаю - парсинг идет только по одному ip, причем по скорости видно что поток 1, при выдаче капчи вообще все останавливается - смены прокси не происходит.
А галка "Использовать прокси" на вкладке "Сеть" стоит? Попробовал загрузить 3 прокси, поставил 10 потоков и снял "использовать основной ИП". В трафик мониторе ни одно не было снято через основной ИП (все прошли через прокси), а данные появлялись со скоростью в 10 потоков. Потом поставил 1 и 2 потока, прокси загрузил 3 штуки. Съем также идет без использования основного ИП.
Да, кстати. Небольшое замечание по работе проксей (ротации). Если проксей добавлено больше, чем потоков, то основной ИП в любом случае не используется. Разумно ведь? :)
Давайте лучше на примере Дано: 50 проксей. Нужно спарсить вордстат. Потоков: 10 Задержка: от 1500 до 2500
Каждый поток получает на обработку равное количество слов. Каждому потоку будет назначено по 5 прокси-серверов, которые он будет менять при каждом новом слове. В итоге один ИП-адрес будет использовать раз в 5*(от 1500 до 2500 мс) ~= 10 секунд
+ еще вопрос если при парсинге того же вордстата или ЛИ происходит какой-то сбой (недогрузилась страница или еще что), то коллектор пишет 0 или пробует повторно выполнить проверку?
Эм, если нет необходимых данных или сбой, то должен пробовать пробивать заново.
MIND добавил 10.02.2011 в 16:20
Я туплю, или нет возможности задать регион при определении релевантных страниц? Если не туплю, то надо сделать )
Настройки - Парсинг - Поисковая выдача - Регион Яндекса
MIND добавил 10.02.2011 в 16:20
Если можно работать через прокси, то где взять список нормальных прокси с нормальной скоростью?
Нормальные прокси бесплатными не бывают. Купить
MIND добавил 10.02.2011 в 16:21
Выскочила капча, ввел, сразу выскакивает опять и т.д., даже одного значения после вновь введенной не обрабатывает.
На каком сервисе капча вылезла? Использовали ли при этом прокси?
MIND добавил 10.02.2011 в 16:22
Если пробую сменить настройки, нажимаю "сохранить изменения" - программа закрывается без предупреждений.
Это мы вчера упустили момент. Ошибка касается только новых пользователей или пользователей, у которых нет конфига. Попробуйте вручную скачать программу заново через 5 минут. Извините за неудобства.
- в многопоточных функциях добавлена автоматическая ротация прокси-серверов, если их количество превышает количество рабочих потоков функции (для функций, многопоточность работы которых не предусмотрена, ротация сохраняется);
- добавлена возможность настройки вида файла экспорта;
- в "Настройки - Интерфейс - Прочее" добавлена кнопка очистки сортировки в таблицах;
- добавлена принудительная проверка баланса при сборе статистики аггрегаторов SeoPult, WebEffector, Rookee, *********;
- при появлении окна ручного ввода капчи поле ввода находится в фокусе, а кнопка "Продолжить работу" реагирует на нажатие клавиши ввода (Enter);
- при запуске проверяются настройки прокси-серверов в конфигурационном файле (исправлена ошибка XPath, возникающая из-за недостающей в конфигурационном файле колонки "Сервер");
- таблица прокси-серверов настройках ограничена по высоте, что устраняет неудобство прокрутки вкладки для нажатия клавиши "Сохранить";
- исправлена ошибка с восстановлением режима скроллинга из конфигурационного файла после перезапуска программы;
- в фильтре для колонки отметки вновь появились значения True и False;
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
такое впечатление что софт не работает через прокси вообще.
список проксей есть, галка использовать прокси есть. но сразу при запуске вылетают капчи при парсинге вордстата.
Прокси галками в таблице проксей отмечены? Отметить можно вручную, если вы уверены в их доступности, или нажать "Проверить доступность", после чего программа сама отметил живые прокси-сервера.
Что-то у меня полный тупняк, никак не могу экспортировать данные в эксель, жму экспорт вписываю имя файла, сохраняю, открываю файл а он пустой.
Офис 2010
Настройки - Интерфейс - Экспорт.
Отметьте нужные колонки. Мы довольно быстро додумались сделать об этом уведомление, но Вы, наверное, успели скачать чуть раньше. В следующем билде в любом случае все будут уведомлены об этом. Да, при экспортировании в csv выгружается текущая открытая вкладка
Maximalist, пока что файлы проектов нужно открывать непосредственно через программу, а не двойным кликом. Насчет последней ошибки - она приводит к невозможности сохранить настройки у уже исправлена (нужно перекачать архивы вручную или дождаться сегодняшнего апдейта). Ошибка эта возникает только у тех, у кого отсутсвует config.xml
Demour, у Вас же в логе написано:
Вчера яндекс вордстат, поиск и подсказки у меня тоже в таймаут выходили. Галку "использовать прокси" нужно убрать, если их не используете.
Пробежался вроде по топику. но похожей проблемы не увидел.
У меня недели 2 назад перестал парситься вордстат, процесс висит какое то время потом пишет что мол выполнено, но данных нет. Прокси не использую, поток один. Зашел через IE в вордстат сразу надо вводить капчу вместе с запросом, может из-за этого? Куки в программе сбрасывал, не помогло.
Настройки вордстата http://s2.itrash.ru/idb/51513fa3188647193c99daab6250eac3/oSnimok.PNG
Ограничение на кол-во слов не мешает? вкладка общие
MIND добавил 10.02.2011 в 17:43
А галка "Использовать прокси" на вкладке "Сеть" стоит? Попробовал загрузить 3 прокси, поставил 10 потоков и снял "использовать основной ИП". В трафик мониторе ни одно не было снято через основной ИП (все прошли через прокси), а данные появлялись со скоростью в 10 потоков. Потом поставил 1 и 2 потока, прокси загрузил 3 штуки. Съем также идет без использования основного ИП.
Да, кстати. Небольшое замечание по работе проксей (ротации). Если проксей добавлено больше, чем потоков, то основной ИП в любом случае не используется. Разумно ведь? :)
Дано: 50 проксей. Нужно спарсить вордстат.
Потоков: 10
Задержка: от 1500 до 2500
Каждый поток получает на обработку равное количество слов. Каждому потоку будет назначено по 5 прокси-серверов, которые он будет менять при каждом новом слове. В итоге один ИП-адрес будет использовать раз в 5*(от 1500 до 2500 мс) ~= 10 секунд
если при парсинге того же вордстата или ЛИ происходит какой-то сбой (недогрузилась страница или еще что), то коллектор пишет 0 или пробует повторно выполнить проверку?
Эм, если нет необходимых данных или сбой, то должен пробовать пробивать заново.
MIND добавил 10.02.2011 в 16:20
Настройки - Парсинг - Поисковая выдача - Регион Яндекса
MIND добавил 10.02.2011 в 16:20
Нормальные прокси бесплатными не бывают. Купить
MIND добавил 10.02.2011 в 16:21
На каком сервисе капча вылезла? Использовали ли при этом прокси?
MIND добавил 10.02.2011 в 16:22
Это мы вчера упустили момент. Ошибка касается только новых пользователей или пользователей, у которых нет конфига. Попробуйте вручную скачать программу заново через 5 минут. Извините за неудобства.
MIND, дабы можно было объединять проекты и видеть историю изменений :)
Нарисуйте план. Когда будем делать взглянем :).
Саша, когда появится дата парсинга? :)
По каждому слову что ли? Зачем? :)
Спасибо за билд.
А можно конкретнее описать, как именно работает:??
Каждый поток вращает "барабан" проксей. У каждого потока своя "обойма" (если речь идет о многопоточной функции).
Версия 2.0.19 (от 09.02.2011):
- в многопоточных функциях добавлена автоматическая ротация прокси-серверов, если их количество превышает количество рабочих потоков функции (для функций, многопоточность работы которых не предусмотрена, ротация сохраняется);
- добавлена возможность настройки вида файла экспорта;
- в "Настройки - Интерфейс - Прочее" добавлена кнопка очистки сортировки в таблицах;
- добавлена принудительная проверка баланса при сборе статистики аггрегаторов SeoPult, WebEffector, Rookee, *********;
- при появлении окна ручного ввода капчи поле ввода находится в фокусе, а кнопка "Продолжить работу" реагирует на нажатие клавиши ввода (Enter);
- при запуске проверяются настройки прокси-серверов в конфигурационном файле (исправлена ошибка XPath, возникающая из-за недостающей в конфигурационном файле колонки "Сервер");
- таблица прокси-серверов настройках ограничена по высоте, что устраняет неудобство прокрутки вкладки для нажатия клавиши "Сохранить";
- исправлена ошибка с восстановлением режима скроллинга из конфигурационного файла после перезапуска программы;
- в фильтре для колонки отметки вновь появились значения True и False;
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
Подробней о покупке программы вы можете узнать по ссылке: http://seom.info/buy-key-collector/