Key Collector - автоматизированная система анализа семантического ядра. Часть 8.

S2
На сайте с 07.01.2008
Offline
611
#971
Количество потоков
Данный параметр отвечает, в сколько потоков будет происходить сбор статистики, использующей данные поисковой выдачи ПС Яндекс (кроме KEI, Solomono).

Т.е. что число потоков нельзя устанавливать для проверки параметров KEY. Вот я проверил список прокси по ПС яндекс, 350 штук оказалось валидные. Поставил проверку кей по яндексу и гуглу - указал 100 потоков и снял галочку с использования основного IP. и что-то процесс не идёт совсем. появилось неск сообщений:

22.10.2012 9:11:27: процесс сбора составляющих KEI (Yandex) начат
22.10.2012 9:11:32: процесс сбора составляющих KEI (Google) начат
22.10.2012 9:11:36: ошибка при работе KEI: прокси (http://193.0.147.25:8085/) удаляется из списка активных . Поток завершен
22.10.2012 9:11:41: процесс сбора составляющих KEI (Google) завершен
22.10.2012 9:14:55: процесс сбора составляющих KEI (Google) начат
22.10.2012 9:14:59: ошибка при работе KEI: прокси (http://193.0.146.37:8085/) удаляется из списка активных . Поток завершен
22.10.2012 9:15:04: процесс сбора составляющих KEI (Google) завершен
22.10.2012 9:15:18: процесс сбора составляющих KEI (Google) начат
22.10.2012 9:15:22: ошибка при работе KEI: прокси (http://193.0.147.48:8085/) удаляется из списка активных . Поток завершен
22.10.2012 9:15:24: на странице поиска Yandex встретилась капча. Ожидание ввода
22.10.2012 9:15:26: процесс сбора составляющих KEI (Google) завершен
22.10.2012 9:15:34: на странице поиска Yandex встретилась капча. Ожидание ввода
22.10.2012 9:16:03: на странице поиска Yandex встретилась капча. Ожидание ввода
22.10.2012 9:17:08: на странице поиска Yandex встретилась капча. Ожидание ввода
22.10.2012 9:17:13: процесс сбора составляющих KEI (Yandex) завершен

И работа закончилась, ничего не проверив. Хотя прокси зелёным сияют. Что не так?

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
MIND
На сайте с 08.03.2007
Offline
238
#972
Т.е. что число потоков нельзя устанавливать для проверки параметров KEY.

Можно, но для KEI они устанавливаются в Настройках - Парсинг - KEI.

И работа закончилась

Дело исключительно в Ваших настройках. Прокси удаляется, и поток завершается. Можно эту ситуацию изменить. Напишите в тикеты - поможем с настройкой.

Подробнее, о том как это сделать - http://www.key-collector.ru/news/support-how-to-use.php

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)
S2
На сайте с 07.01.2008
Offline
611
#973

MIND, вот я ещё спрашивал на предыдущей странице:

Str256:
Маска запроса при профессиональной проверки прокси. Можно ли сделать возможность задавать свою? Чтобы скажем проверять прокси на бан в соцсетях.

И ещё мелочи заметил. Когда нажимаешь скрыть колонку, если потом открыть лист "настройка полей" - там у скрытых колонок галочки не сняты. Извиняюсь, глюк был наверно, сейчас всё работает.

И если удаляешь вкладку, то она остаётся открытой, исчезает только после нажатия на крестик.

Можно, но для KEI они устанавливаются в Настройках - Парсинг - KEI.

Спс. посмотрю. просто не совсем логично, ведь нет отдельной проверки прокси на кей, есть на ПС, поэтому и парсинг я смотрел в ПС.

И ещё вопрос. Колонка "наличие сервисов Яндекса при запросе" - имеется ввиду яндекс. маркет? смотрю мануал, там вроде нет такой позиции.

MIND
На сайте с 08.03.2007
Offline
238
#974
Когда нажимаешь скрыть колонку, если потом открыть лист "настройка полей" - там у скрытых колонок галочки не сняты. И если удаляешь вкладку, то она остается открытой, исчезает только после нажатия на крестик.

Не наблюдаем. Сейчас уточним детали в личке.

Можно ли сделать возможность задавать свою?

Можно, но в текущей версии именно к соц. сетям обращения нельзя задать.

S2
На сайте с 07.01.2008
Offline
611
#975
MIND:
Не наблюдаем. Сейчас уточним детали в личке.

Выше написал уже, что видимо разовый глюк был.

Ещё хотел спросить насчёт настройки кей парсинга - можно сделать возможность, чтобы при появлении каптчи прокси исключался и повторялся этот запрос с новым прокси из списка?

И насчёт колонок экспорта, можно ли делать возможность, чтобы по умолчанию там были отмечены только видимые колонки. Чтобы не приходилось скрывать колонки или снимать галочки в полях, а потом тоже самое в экспорте проделывать.

SR
На сайте с 22.02.2010
Offline
77
#976

Ерунда какая-то с парсингом с ЯД творится. Десять прокси и основной IP, ставлю даже 3 потока, секунд 10 снимает, потом пишет при отправке тела запроса к Yandex.Direct возникла ошибка. Выполняем повторную (1) попытку загрузить информацию, и так раз сто. Потом парсинг прекращается.

Кстати, съем данных по ЯД и раньше отличался тем, что прекращался раньше времени, и совсем не по той причине, что все фразы попали в группу с запрещенными для анализа в ЯД.

---------- Добавлено 22.10.2012 в 12:39 ----------

Разработчики, явно Ваш косяк. Откатил на одну версию назад, все работает. Единственное пожелание - что-то сделать с преждевременной остановкой парсинга ЯД.

MIND
На сайте с 08.03.2007
Offline
238
#977

smexoblog.ru, в последних версиях не менялась работа с директом. Откат на прошлую версию, полагаю, помог не потому, что в последней "косяк", а потому что в прошлой версии у Вас были другие прокси-серверы без проблем прописаны.

Скорее всего, проблема решается путем настройки программы. Напишите, пожалуйста, в тикеты, и тогда мы сможем Вам помочь. Подробнее, о том как это сделать - http://www.key-collector.ru/news/support-how-to-use.php

---------- Добавлено 22.10.2012 в 13:20 ----------

можно сделать возможность, чтобы при появлении каптчи прокси исключался и повторялся этот запрос с новым прокси из списка?

Да. В "настройках - антиkапча - общие настроки" включить опцию автоматического пропуска прокси-сервера.

---------- Добавлено 22.10.2012 в 13:23 ----------

И насчёт колонок экспорта, можно ли делать возможность, чтобы по умолчанию там были отмечены только видимые колонки. Чтобы не приходилось скрывать колонки или снимать галочки в полях, а потом тоже самое в экспорте проделывать.

Все проще. В файл экспорта в любом случае попадут только видимые колонки. А чтобы не приходилось постоянно включать/выключать колонки у нас есть система шаблонов вида (можно также назначить шаблон по умолчанию). Подробнее в мануале

wwwwww
На сайте с 29.04.2011
Offline
195
#978

Пользуюсь давно. Говорю спасибо Александру и Дмитрию за все!

Однако из полезностей вот чего не хватает:

- группировки колонок в появляющемся окошке настройки показа \ скрытия колонок (сейчас там все вперемешку, понятнее было бы, если все пункты шили, как и колонки)

- хочется увидеть отдельные колонки для частотности Гугла "общая, точная" как для ЯВордстат

- Для ЯДирект очень удобно добавить колонки "CPC по за спецразмещение", "CPC за 1 место" и "CPC за гарантированный показ". Возможно галочку собирать частотности \ переходы, чтобы не собирать несколько раз одно и то же.

- сохранение УРЛ сайта и региона для снятия позиций для проекта, сейчас они загружаются из общего конфига

Видишь? Свободная подпись.
MIND
На сайте с 08.03.2007
Offline
238
#979

сохранение УРЛ сайта и региона для снятия позиций для проекта

Они сейчас и так сохраняются в проект. В конфиге хранятся подсказки по ранее введенным URL. Это сделано для того, чтобы если человек часто работает с 1-2-3 сайтами, но в рамках разных проектов, он смог выбирать из подсказок свои сайты во всех проектах.

В остальном Ваши предложения приняты. Спасибо.

B
На сайте с 02.11.2011
Offline
49
#980

Во время сбора статистики YD в колонках пишется что фраза склеена и YD бракует сразу всю пачку запросов и переходит к следующей и так до конца списка, так вот когда YD доходит до конца списка, то практически половина запросов забракована и приходится еще раз запускать сбор. При следующем сборе статистике тех фраз которые были забракованы из них так же примерно половина забракована и приходится постоянно сидеть и тыкать на запуск процесса до посинения пока не завершится сбор статы для всех фраз в таблице.

Так вот, можно ли сделать чтобы сбор статистики запускался до тех пор пока все колонки не будут заполнены? Сделать как дополнительную фичу, кому нужно тот включил, кому не нужно тот не включает.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий