Key Collector — автоматизированная система анализа семантического ядра

COKOJI
На сайте с 12.12.2006
Offline
57
#1061
st-key:
может, просто очищать окна "Свой список" /"Парсить Яндекс" перед добавлением новой порции слов на обработку? Ведь логичней, нет? Личное мнение, превращать простое окно "подачи" слов, в синхронизируемый модуль, совершенно излишне.

Да, действительно можно и так вполне, но тогда во-первых это +1 действие, во вторых я теряю отображение исходного списка слов, который потом подвергся изменениям.

Удаленные слова из исходного списка не всегда именно "плохие" слова - это могут слова перешедшие в другой список. Потому исходный список важно сохранять в памяти программы.

st-key:
А смысл? Для множества проектов, ручная последовательная обработка не сильно уступает в скорости параллельной (работа, с теми же стоп-словами организована достаточно удобно, + их автоматическое сохранение).
При автоматическом же сборе данных, при множестве, одновременно запущенных проектов, вы лишь увеличите количество запросов с вашего ip. В этом случае, без прокси, вас ни какие паузы не спасут от капчти или бана ip. Опять же, личное мнение, но работа со множеством проектов одновременно, есть вселен.. управленческое зло, приемлемое лишь в сравнительных целях, в крайне редких случаях.

Я немного не о том. У меня нет желания устраивать проверку в несколько потоков (и это действительно не нужно).

У меня есть желание по более удобной работе с программой в плане просмотра и хранения слов.

Мне бы хотелось открыть программу 1 раз и потом действовать из нее, а не открывать ее десятки раз через ярлык, если мое многотысячное ядро состоит из совсем разных кластеров, которые я для удобства разбил на разные проекты (файлы программы) и хочу просматривать одновременно.

Так что это или вкладки или в идеале древовидная структура.

Опять же это мои потребности - это может быть не всем нужно.

st-key:
Обычно как делают (в том числе и разработчики)? Просто пробуют, и так, и этак, экспериментируют. Может и вам также? А в следующем сообщении рассказать, привести цифры всем интересующимся. Все юзеры данной программы будут вам очень благодарны.

Если бы у меня были удовлетворительные результаты, я бы с радость поделился. :)

Но при стандартных паузах, что указанны в программе - бан происходит где то после пары сотен слов, при постоянной их проверке по всем 3-м частотам статистики Директа.

В то время как Александр на своем семинаре говорил, что паузы позволяют работать стабильно с программой при сборе и порядков в тысячи запросов.

Плюс мне кажется что рекомендации по наиболее удобной работе с программой позволят ее лучше продавать - так что это дело не только сугубо личное.

Куплю места под статьи навсегда на жирных площадках. Дорого. Пишите. Продвигаю по трафику свои бизнесы и клиентские сайты.
Maximalist
На сайте с 17.04.2007
Offline
202
#1062
MyOST:
Maximalist, в течении рабочих суток обрабатываются заявки

да, сегодня утром получил, спасибо, буду разбираться :)

- = тут что-то должно быть = -
SK
На сайте с 13.09.2010
Offline
18
#1063
COKOJI:
Да, действительно можно и так вполне, но тогда во-первых это +1 действие, во вторых я теряю отображение исходного списка слов, который потом подвергся изменениям. Удаленные слова из исходного списка не всегда именно "плохие" слова - это могут слова перешедшие в другой список. Потому исходный список важно сохранять в памяти программы.

Ок, если начальный список вам нужен вместе с удаленными из главного окна (например, после чистки стоп-словами), он у вас сохранен в окне "приема" слов (вопрос ранее поднимался - пользователи попросили, разработчики сделали). Т.е. есть имеем /сохранены 2 списка, до и после обработки (второй легко берется из главного окна через Ctrl + C). Если же, при добавлении новой порции слов, не нужно снова парсить первый блок слов вместе с уже удаленными, просто, перед добавлением новой порции чистим окно приема (Ctrl+A работает, удобно), и новые спарсеные ключи не заменят - а добавятся в главное окно. Т.е., доступны любые варианты. В исходном же моменте, насколько я понял, Str256 предлагал синхронизировать обработанный список с начальным, нет? Мне представляется это лишним, более того, сужающим вариативность действий.

если мое многотысячное ядро состоит из совсем разных кластеров, которые я для удобства разбил на разные проекты (файлы программы) и хочу просматривать одновременно.
Так что это или вкладки или в идеале древовидная структура. Опять же это мои потребности - это может быть не всем нужно.

Если цель вкладок - чисто возможность запускать /исследовать /сравнивать сразу несколько проектов, всегда найдется тот, кому 100 вкладок будет мало, и, вот же бидабида, ну ни как не обойтись без 101. Имхо, основная прелесть вкладок будет в возможности "перекидывать" ключи из одной в другую. Вам ведь именно этого нужно? Комбинировать кластеры и т.д., да? Или упомянутая древ-структура, с возможностью по-словного переноса и общего хранения, Да, супер. Коллектор станет мега-продуктом.

Но при стандартных паузах, что указанны в программе - бан происходит где то после пары сотен слов, при постоянной их проверке по всем 3-м частотам статистики Директа.
В то время как Александр на своем семинаре говорил, что паузы позволяют работать стабильно с программой при сборе и порядков в тысячи запросов.

Подтверждаю. Тысячи запросов. Но очень долго - естественные издержки безостановочного парсинга.


Плюс мне кажется что рекомендации по наиболее удобной работе с программой позволят ее лучше продавать - так что это дело не только сугубо личное.
Тут фикус в том, что профилей поведения в использовании программы - масса. Кей-миллионерам нужны диапазоны пауз от 3000 до 4000,5000, прокси_антигейты. А тем, кому нужно быстро-быстро снять стату по 5 словам, причем в единичном значении, без расширения списка, им почти без пауз можно.. И куча пользователей, в поведенческом диапазоне между. Например, имеющим динамический ip, проще, оптимальней чистить куки, менять ip, чем развлекать себя длинными паузами - долгим парсингом. Что, как будет удобно именно вам, имхо, определять, искать также, именно вам. На месте разработчиков, я бы дал одну-единственную, но универсальную инструкцию - пробуйте по-разному.
COKOJI
На сайте с 12.12.2006
Offline
57
#1064
st-key:
Ок, если начальный список вам нужен вместе с удаленными из главного окна (например, после чистки стоп-словами), он у вас сохранен в окне "приема" слов (вопрос ранее поднимался - пользователи попросили, разработчики сделали). Т.е. есть имеем /сохранены 2 списка, до и после обработки (второй легко берется из главного окна через Ctrl + C). Если же, при добавлении новой порции слов, не нужно снова парсить первый блок слов вместе с уже удаленными, просто, перед добавлением новой порции чистим окно приема (Ctrl+A работает, удобно), и новые спарсеные ключи не заменят - а добавятся в главное окно. Т.е., доступны любые варианты. В исходном же моменте, насколько я понял, Str256 предлагал синхронизировать обработанный список с начальным, нет? Мне представляется это лишним, более того, сужающим вариативность действий.

Возможно я не понял или в 2.0 есть доп. список (я не являюсь тестером и не видел то, что готово)

Давайте тут на примере. Ввожу в свой список:

слово1

слово2

слово3

слово4

слово5

Спарсил значения, удалил/переместил ненужное, осталось:

слово1

слово3

слово5

Нашел новые слова для кластера, хочу добавить только их, для этого стираю то, что в своем списке и добавляю в него:

слово6

слово7

В главном окне получил:

слово1

слово3

слово5

слово6

слово7

Теперь я хочу посмотреть какой у меня был изначальный свой список, какие слова я удалил/переместил. Как мне это сделать на данном этапе действий?

Что касается синхронизации - то мне она не нужна, мне как раз нужно чтобы хранились все варианты данных и к любым из них я мог вернуться.

st-key:
Если цель вкладок - чисто возможность запускать /исследовать /сравнивать сразу несколько проектов, всегда найдется тот, кому 100 вкладок будет мало, и, вот же бидабида, ну ни как не обойтись без 101. Имхо, основная прелесть вкладок будет в возможности "перекидывать" ключи из одной в другую. Вам ведь именно этого нужно? Комбинировать кластеры и т.д., да? Или упомянутая древ-структура, с возможностью по-словного переноса и общего хранения, Да, супер. Коллектор станет мега-продуктом.

Да, действительно продукт может получиться замечательный, несмотря на свою принципиальную простоту - никто еще таковой продукт для паблика не делал.

В идеале это древовидная структура где я могу не только хранить данные, но и да, перемещать их между разными папками. А-ля проводник, но в активном окне ключи и их полная статистика.

Сбор и хранение всех ключей под одним проектом ywp также позволит запускать парсинг сразу по всем ним. Сейчас для каждого проекта ywp это нужно отдельно, а сливать в один проект все ключи не вариант, к тому же экспорта в другие проекты нету и обратного импорта из csv.

Я даже не могу, как вариант, открыть отдельно кучу раз программу, так как тогда я наткнусь на такое же кол-во потоков.

Вкладки же нужны для открытия разных проектов, чтобы опять же не запускать программу несколько раз. И так я смогу просмотреть сразу несколько древовидных систем и сравнить их визуально/функционально.

Пример. Предположим есть проект с готовым большим ядром. Я копирую его и принудительно заново делаю весь парсинг спустя полгода. Затем запускаю сравнение между ними и вижу что изменилось по тем ключам, что я делал полгода назад. Идеалистически полезно будет, так как сейчас обычно делают ядра, а потом что-то поменять и отследить не хватает человеко-часов.

Так что вкладок то много не нужно будет.

st-key:
Подтверждаю. Тысячи запросов. Но очень долго - естественные издержки безостановочного парсинга. Тут фикус в том, что профилей поведения в использовании программы - масса. Кей-миллионерам нужны диапазоны пауз от 3000 до 4000,5000, прокси_антигейты. А тем, кому нужно быстро-быстро снять стату по 5 словам, причем в единичном значении, без расширения списка, им почти без пауз можно.. И куча пользователей, в поведенческом диапазоне между. Например, имеющим динамический ip, проще, оптимальней чистить куки, менять ip, чем развлекать себя длинными паузами - долгим парсингом. Что, как будет удобно именно вам, имхо, определять, искать также, именно вам. На месте разработчиков, я бы дал одну-единственную, но универсальную инструкцию - пробуйте по-разному.

Я пытаюсь понять адекватную нагрузку на 1 IP при безостановочном парсинге и чтобы это было недолго (стандартные паузы меня устраивают, уж за ночь то собрать успеет). А потом уже вопрос уткнется кол-во IP в зависимости от кол-ва проверяемых ключей, а это не проблема. Понятное дело, что антигейт страхует (кстати, по антигейту тоже нужно ввести проверку в 3 попытки и переход на другой IP, а то если антигейт не работает, то программа безостановочно долбится по нему)

MyOST
На сайте с 22.01.2006
Offline
559
#1065
COKOJI:
Плюс мне кажется что рекомендации по наиболее удобной работе с программой позволят ее лучше продавать - так что это дело не только сугубо личное.

да, обучающее видео, помощь в настройках - это то что нужно делать, оно частично и нас разгрузит, чтобы мы больше времени софту уделяли, а не саппорту где стандарт вопросы, часто

COKOJI:
Да, действительно продукт может получиться замечательный, несмотря на свою принципиальную простоту - никто еще таковой продукт для паблика не делал.
В идеале это древовидная структура где я могу не только хранить данные, но и да, перемещать их между разными папками. А-ля проводник, но в активном окне ключи и их полная статистика.

по поводу "разбивки" списка на несколько, внутри программы, суть понятна

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
SK
На сайте с 13.09.2010
Offline
18
#1066
COKOJI:

Я пытаюсь понять адекватную нагрузку на 1 IP при безостановочном парсинге и чтобы это было недолго

Вот-вот, конкретно для ваших проектов, настройки никто лучше вас же и не подберет. Имхо, оптимум (различные_ объемы /глубина /время /терпение /целесообразность..) понятие крайне субъективное. К тому же, толерантность вордстата - величина отнюдь не статическая. Рекомендовать всем и каждому какие-то определенные цифры пауз, или определенную модель действий, полагаю, неразумно.

Давайте тут на примере....Теперь я хочу посмотреть какой у меня был изначальный свой список, какие слова я удалил/переместил. Как мне это сделать на данном этапе действий?

Вот, не могу постигнуть)), начальный то список зачем вам? Откуда бы вы его не взяли, из прошлого ли проекта, и статистики ли, из головы ли - экспромтом, он там сразу перестает существовать? Далее, если после обработки, вы что-то удалили /переместили, значит это что-то вам не нужно /нужно не здесь, нет? Если удаленные слова вычищены через стоп-слова, так они там и останутся, их список сохраняется (просили-сделали). К слову, в теме звучало еще более интересное предложение добавлять в стоп-слова через правую кнопку в главном окне.

Кроме того, по вашему примеру, --- А если вы захотите посмотреть исходный вид второй порции слов, в вашем примере "слово6 /слово7" ? Имея сохраненный стартовый список, исходный вид второй /третьей /... порции добавленных слов вы никак не увидите. И таких вариантов, чего возможно захочется, но никак не получится, можно придумать довольно много.

Может стоит попросить у разработчиков не просто сохранение начального списка, а возможность пошагового отката в окнах "приема слов"? К слову, такое в программе уже есть, но только в главном окне и только один шаг. Если сделать такое для принимающих окон, кому-то, например, вам, возможно, будет очень удобно/полезно.

Выходом из положения, вот прямо сейчас, в текущей версии 1.3.13, можно посоветовать лишь - перекидывать начальный список, в иную вкладку, "проверка релевантности" или "съем позиций", для последующего сравнения с главным окном после обработки. Все как вы и хотели)). Как то так).

Denisg
На сайте с 10.01.2008
Offline
136
#1067

очень страдаю оттого что не могу воспользоваться программой, потому как глючит - без указанного ранее прокси на другой сети не работает!

MIND
На сайте с 08.03.2007
Offline
238
#1068
Denisg:
очень страдаю оттого что не могу воспользоваться программой, потому как глючит - без указанного ранее прокси на другой сети не работает!

Эм? :) В чем проблема, я не понял.

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)
Denisg
На сайте с 10.01.2008
Offline
136
#1069

MIND,

прокси отключил. удалил из списка.

при загрузке вылетает что тот прокси не обнаружен. в настройках ничего нет.

Denisg добавил 06.12.2010 в 00:17

спасибо, подсказали как решить проблему.

нужно было удалить auth_proxy.txt из каталога программы.

Maximalist
На сайте с 17.04.2007
Offline
202
#1070

не увидел, писали уже, или нет...

загрузил ключи, запустил сбор данных, выделяю строку, она спускается (поставил частотность по убыванию), НО выделение остаётся на том же месте

то есть, выделенная изначально строка спускается, а выделение перемещается на другой ключ...

немного неудобно

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий