jorevo: И где-то с 14-15 билда снова разворачивается во весь экран крепко задумавшись перед этим ответственным действом.
ЗЫ. Так что насчот индикации работы? А то как то обсуждение на полуслове заглохло...
Статистику мы введем. А насчет лагов, то скините проект, на котором тормозит?
L!mur: Есть проблемы: 1) Не работает фильтрация по чекбоксам (пустые-непустые), остальные фильтры работают. 2) При перезапуске софта заметил каждый раз сбивается опция режима скроллинга (у меня установлено обновлять таблицу, а после перезапуска сбивается на подсказки)
MIZER: Т.е. если выставляю 10 потоков, а проксей у меня 50, то последние 40 получаются бесполезны? Получается, что даже увеличив кол-во проксей нельзя "ускорить" сбор данных:(
Предусмотрите возможность, чтобы если вываливается капча, но есть свободные прокси, то поток переключается на новый прокси.
пс: кол-во проксей (в отличии от кол-ва потоков) все-таки легче увеличить!
Именно эту методику мы и планировали делать (попытку смены прокси при капче).
MIZER: Не знаю писали уже или нет, но все же: а как программа работает с проксями - выбирает их по кругу последовательно, случайным образом или еще как-то?
Где реализована многопоточность, там за каждым потоком закреплен свой прокси. В 2.0.19 будет ротация в дополнении к этому
Alisica: Программа обновилась до 2.0.2.0
Установилась только после нескольких чисток network.
wordstat не парсит (процесс парсинга начат - процесс парсинга завершен - и все), seopult выдает ошибку.
В чем может быть пробелма? Помогите решить, пожалуйста!
Видимо, фреймворк все же не установился нормально. Ставьте Full версию, а не Client:
MIZER: Не смог добавить ни 1 прокси - вылетает ошибка и программа виснет:(
Как долго ждать 2.0.19?
У вас в конфигурационном файле отсутствует колонка "Сервер". Вы можете заменить в своем конфиге код таблицы на корректный пустой, чтобы проблема была решена:
Насчет проблемы с XPath. Совершенно случайно мне прислали конфиг, где в конфиге колонка "Сервер" попросту отсутствует. Поэтому была ошибка в программе. В 2.0.19 этот момент будет обыгран.
MIND добавил 06.02.2011 в 22:26
CrazyJohn: При этом в списке на прасинг две фразы, вторая никак не затрагивается, судя по журналу событий.
У меня парсится (кстати, у вас глубина в конфиге стоит 1 - это 50 проходов по словам напаршенным). Проект создается. Просто если Вы не открывали его из файла, то его нужно сохранить на диск при помощи "Сохранить как" (другая иконка с дискетой). Сейчас продолжим в личке
MIND добавил 06.02.2011 в 22:29
При выборе "Получить данные для Yandex" парсятся все параметры для яндекса? Можно как-то отдельный параметр спарсить? Например вхождения в титлы.
Парсятся титлы, морды, конкуренция. Это все берется с загружаемой страницы, поэтому почему бы и не посчитать, раз уж данные для этого имеются. Смысла считать только титлы нет никакого, т.к. остальные параметры берутся с той же самой загруженной страницы.
MIND добавил 06.02.2011 в 22:30
При ошибках с капчей параметры в стобцах заполняются нулем. Можете сделать, чтобы оставались пустые значения. Ну и автоматическую смену проксей тоже было бы неплохо прикрутить.
Ротация проксей была раньше. Сейчас в режиме бета многопоточность (каждый поток работает через свой прокси). Но скоро мы совместим эти режимы.
CrazyJohn: 06.02.2011 17:55:12: процесс парсинга статистики слов LiveInternet для фразы "продвижение сайта" начат
06.02.2011 17:55:12: процесс парсинга статистики слов LiveInternet для фразы "продвижение сайта" закончен
06.02.2011 17:55:13: процесс парсинга статистики слов LI закончен
При этом статистику не парсит. LIErorr.txt не создаёт, так как ошибки нет. В чём может быть дело?
"Парсить страниц" на вкладке LiveInternet сколько стоит? Должно быть >= 1. Скиньте проект и конфиг в личку, если параметр установлен нормально. Также возможно, что вам выписали бан по IP (да, LiveInternet такое умеет делать. Сообщение об этом программа будет писать в 2.0.19).
Завтра будет обновление, в котором будут учтены некоторые приоритетные пожелания пользователей.
И где-то с 14-15 билда снова разворачивается во весь экран крепко задумавшись перед этим ответственным действом.
ЗЫ. Так что насчот индикации работы? А то как то обсуждение на полуслове заглохло...
Статистику мы введем. А насчет лагов, то скините проект, на котором тормозит?
Есть проблемы:
1) Не работает фильтрация по чекбоксам (пустые-непустые), остальные фильтры работают.
2) При перезапуске софта заметил каждый раз сбивается опция режима скроллинга (у меня установлено обновлять таблицу, а после перезапуска сбивается на подсказки)
Исправим. ..
Как убрать не нужные в данный момент вкладки "Частотности и т.д"
Спасибо
В верхнем левом углу таблицы есть кнопка с иконкой таблицы. Нажимаете ее и настраиваете видимость колонок по своему усмотрению
Т.е. если выставляю 10 потоков, а проксей у меня 50, то последние 40 получаются бесполезны? Получается, что даже увеличив кол-во проксей нельзя "ускорить" сбор данных:(
Предусмотрите возможность, чтобы если вываливается капча, но есть свободные прокси, то поток переключается на новый прокси.
пс: кол-во проксей (в отличии от кол-ва потоков) все-таки легче увеличить!
Именно эту методику мы и планировали делать (попытку смены прокси при капче).
Не знаю писали уже или нет, но все же: а как программа работает с проксями - выбирает их по кругу последовательно, случайным образом или еще как-то?
Где реализована многопоточность, там за каждым потоком закреплен свой прокси. В 2.0.19 будет ротация в дополнении к этому
Программа обновилась до 2.0.2.0
Установилась только после нескольких чисток network.
wordstat не парсит (процесс парсинга начат - процесс парсинга завершен - и все), seopult выдает ошибку.
В чем может быть пробелма? Помогите решить, пожалуйста!
Видимо, фреймворк все же не установился нормально. Ставьте Full версию, а не Client:
http://www.microsoft.com/downloads/ru-ru/details.aspx?FamilyID=9cfb2d51-5ff4-4491-b0e5-b386f32c0992
Не смог добавить ни 1 прокси - вылетает ошибка и программа виснет:(
Как долго ждать 2.0.19?
У вас в конфигурационном файле отсутствует колонка "Сервер". Вы можете заменить в своем конфиге код таблицы на корректный пустой, чтобы проблема была решена:
Насчет проблемы с XPath. Совершенно случайно мне прислали конфиг, где в конфиге колонка "Сервер" попросту отсутствует. Поэтому была ошибка в программе. В 2.0.19 этот момент будет обыгран.
MIND добавил 06.02.2011 в 22:26
При этом в списке на прасинг две фразы, вторая никак не затрагивается, судя по журналу событий.
У меня парсится (кстати, у вас глубина в конфиге стоит 1 - это 50 проходов по словам напаршенным). Проект создается. Просто если Вы не открывали его из файла, то его нужно сохранить на диск при помощи "Сохранить как" (другая иконка с дискетой). Сейчас продолжим в личке
MIND добавил 06.02.2011 в 22:29
Парсятся титлы, морды, конкуренция. Это все берется с загружаемой страницы, поэтому почему бы и не посчитать, раз уж данные для этого имеются. Смысла считать только титлы нет никакого, т.к. остальные параметры берутся с той же самой загруженной страницы.
MIND добавил 06.02.2011 в 22:30
Ротация проксей была раньше. Сейчас в режиме бета многопоточность (каждый поток работает через свой прокси). Но скоро мы совместим эти режимы.
06.02.2011 17:55:12: процесс парсинга статистики слов LiveInternet для фразы "продвижение сайта" начат
06.02.2011 17:55:12: процесс парсинга статистики слов LiveInternet для фразы "продвижение сайта" закончен
06.02.2011 17:55:13: процесс парсинга статистики слов LI закончен
При этом статистику не парсит. LIErorr.txt не создаёт, так как ошибки нет. В чём может быть дело?
"Парсить страниц" на вкладке LiveInternet сколько стоит? Должно быть >= 1. Скиньте проект и конфиг в личку, если параметр установлен нормально. Также возможно, что вам выписали бан по IP (да, LiveInternet такое умеет делать. Сообщение об этом программа будет писать в 2.0.19).