AZIMUT: Нет не использую. В качестве интернета используется оптика на 30 мегабит. Сейчас попробую поиграться с тайм-аутами.
UPDATE: Вроде помогло. Но странно что вылезла эта проблема. Вроде интернет летает.
Сервер Яндекса может специально так защищаться, как вариант.
AZIMUT: Проблема! Сегодня перестал парсить подсказки в Яндексе.
Записал скринкаст с демонстрацией:
http://screencast.com/t/a3BrVRZZ
Здравствуйте. Как видите, это ошибка таймаута, т.е. сервер Яндексе не отдает данные программе в разумное время. Используете ли Вы прокси-сервер? Могу посоветовать Вам увеличить кол-во повторных попыток загрузки в Настройках - Парсинг - Общие, а также увеличить таймауты при парсинге подсказок в Настройках - Подсказки в несколько раз.
j1gs4w88: У меня приватные анонимные прокси с авторизацией по логину и паролю.
С капчей возникла проблема, т.к. в браузере ИЕ сбились куки на wordstat.yandex.ru и вордстат отдавала капчу при каждом запросе. Зашел в ИЕ на wordstat.yandex.ru была капча, нажал F5, браузер получил и сохранил куки, дальше парсинг вордстата в многопоточном режиме с разумными задержками шел как по маслу, 25к запросов(все частотности) без единой капчи.
Кхм, у Key Collector свои куки, так что странно.
MIND добавил 23.02.2011 в 22:20
Версия 2.1.0 (от 23.02.2011):
- добавлена возможность парсинга данных счетчика LiveInternet;
- добавлена возможность экспортирования результатов с релевантных страниц в формат SAPE;
- мелкие фиксы.
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
Dvoechnik: Скажите, в чем может быть трабл и как решить: в последние время в моем пректе при парсинге дополнительных частот пишет постоянно, что "время истекло", а частоты не парсятся. Но при этом если скопировать несколько запросов в новый проект - пишет тоже самое, но хотя бы (но очень медленно) собираются значения. Таймауты в обоих случаях выставлены одинаковы 2800-4000. Может ли это связано с тем, что в первом проекте слишком много запросов (более 10 000)?
В последнее время яндекс действительно стал медленно работать (на моем провайдере так точно). Ошибка таймаута не связана с кол-вом слов в проекте.
j1gs4w88: Я до последних дней также не нарывался на капчи вордстата при парсинге в 20к запросов в день со всеми частотностями, в последние же дни невероятное количество капчей выдается.
Каким образом происходит ротация проксей? При каждом запросе меняется прокси (в однопоточном режиме без проксей). В многопоточном режиме с проксями число проксей делится на число потоков и для каждого потока идет ротация своего блока проксей для каждого запроса. При попадании на капчу со включенным антигейтом идет распознование капчи. Я правильно понял?
Хм, видимо не пошло на пользу нововведение последнее :). Насчет механизма все верно.
- экспериментальное улучшение работы в многопоточном режиме при условии, что прокси-серверов добавлено больше, чем работающих потоков, для систем Yandex.Wordstat, LiveInternet;
- исправлен вылет при парсинге составляющих KEI по Google;
- исправлена работа кнопки "Добавить".
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
MyOST, словоеб обслуживается в последнюю очередь. Были известны случаи, когда данные в его таблице не появлялись. Однако, сейчас (речь идет именно о Словоебе) это было вызвано проблемой со фреймворком, в чем я уверен на 90%. В любом случае, уважаемый Realtim является пользователем Key Collector, где таких проблем нет.
Нет не использую. В качестве интернета используется оптика на 30 мегабит. Сейчас попробую поиграться с тайм-аутами.
UPDATE: Вроде помогло. Но странно что вылезла эта проблема. Вроде интернет летает.
Сервер Яндекса может специально так защищаться, как вариант.
Проблема! Сегодня перестал парсить подсказки в Яндексе.
Записал скринкаст с демонстрацией:
http://screencast.com/t/a3BrVRZZ
Здравствуйте. Как видите, это ошибка таймаута, т.е. сервер Яндексе не отдает данные программе в разумное время. Используете ли Вы прокси-сервер? Могу посоветовать Вам увеличить кол-во повторных попыток загрузки в Настройках - Парсинг - Общие, а также увеличить таймауты при парсинге подсказок в Настройках - Подсказки в несколько раз.
The software requires the .Net Framework 1.1 or higher. Please install the .Net Framework and run this software again.
Что делать?
Старая Windows XP? Установите еще тогда Framework 2.0.
У меня приватные анонимные прокси с авторизацией по логину и паролю.
С капчей возникла проблема, т.к. в браузере ИЕ сбились куки на wordstat.yandex.ru и вордстат отдавала капчу при каждом запросе. Зашел в ИЕ на wordstat.yandex.ru была капча, нажал F5, браузер получил и сохранил куки, дальше парсинг вордстата в многопоточном режиме с разумными задержками шел как по маслу, 25к запросов(все частотности) без единой капчи.
Кхм, у Key Collector свои куки, так что странно.
MIND добавил 23.02.2011 в 22:20
Версия 2.1.0 (от 23.02.2011):
- добавлена возможность парсинга данных счетчика LiveInternet;
- добавлена возможность экспортирования результатов с релевантных страниц в формат SAPE;
- мелкие фиксы.
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
Подробней о покупке программы вы можете узнать по ссылке: http://seom.info/buy-key-collector/
MIND добавил 23.02.2011 в 22:21
Кхм, у Key Collector свои куки, так что странно.
Скажите, в чем может быть трабл и как решить: в последние время в моем пректе при парсинге дополнительных частот пишет постоянно, что "время истекло", а частоты не парсятся. Но при этом если скопировать несколько запросов в новый проект - пишет тоже самое, но хотя бы (но очень медленно) собираются значения. Таймауты в обоих случаях выставлены одинаковы 2800-4000. Может ли это связано с тем, что в первом проекте слишком много запросов (более 10 000)?
В последнее время яндекс действительно стал медленно работать (на моем провайдере так точно). Ошибка таймаута не связана с кол-вом слов в проекте.
Я до последних дней также не нарывался на капчи вордстата при парсинге в 20к запросов в день со всеми частотностями, в последние же дни невероятное количество капчей выдается.
Каким образом происходит ротация проксей? При каждом запросе меняется прокси (в однопоточном режиме без проксей). В многопоточном режиме с проксями число проксей делится на число потоков и для каждого потока идет ротация своего блока проксей для каждого запроса. При попадании на капчу со включенным антигейтом идет распознование капчи. Я правильно понял?
Хм, видимо не пошло на пользу нововведение последнее :). Насчет механизма все верно.
Принудительной смены прокси при встрече капчи пока что нет. Но ротация обычная функционирует.
Версия 2.0.21 (от 21.02.2011):
- экспериментальное улучшение работы в многопоточном режиме при условии, что прокси-серверов добавлено больше, чем работающих потоков, для систем Yandex.Wordstat, LiveInternet;
- исправлен вылет при парсинге составляющих KEI по Google;
- исправлена работа кнопки "Добавить".
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
Подробней о покупке программы вы можете узнать по ссылке: http://seom.info/buy-key-collector/
Версия 2.0.20 (от 17.02.2011):
- прямой парсинг релевантных страниц стал многопоточным;
- прямой парсинг KEI стал многопоточным;
- добавлена возможность автоматического создания резервной копии открываемых в программе проектов;
- автосохранение проекта по таймеру - опция. Вы можете включить автосохранение в Настройках - Интерфейс - Прочее;
- добавлена колонка даты добавления слов в таблицу;
- добавлена возможность сортировать по позициям;
- для удобства кнопка отмены сортировки перенесена из окна настроек на главное меню;
- исправлена проблема с работой мышкой в таблицах релевантных страниц и позиций;
- мелкие фиксы.
Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.
Подробней о покупке программы вы можете узнать по ссылке: http://seom.info/buy-key-collector/
MyOST, словоеб обслуживается в последнюю очередь. Были известны случаи, когда данные в его таблице не появлялись. Однако, сейчас (речь идет именно о Словоебе) это было вызвано проблемой со фреймворком, в чем я уверен на 90%. В любом случае, уважаемый Realtim является пользователем Key Collector, где таких проблем нет.