COKOJI

COKOJI
Рейтинг
57
Регистрация
12.12.2006
Должность
seo/sem

Несколько предложений рассматриваются, но тема по-прежнему актуальна. Если есть предложения (в том числе более дорогие) - то готов рассмотреть.

Форму заполнил.

А фуршет опять в Дубинине или что по-интереснее?

Валентин, за отзыв и рецензию бесплатно возьмешь? :)

Немного странная конференция, но можно сходить на Люстика и Ткачева, так как там всегда есть что послушать и что спросить конкретного.

А по Арбайтену странно было видеть инфу - зачем ему публичное выступление? Судя по цитате он еще и не зарабатывает на этом.

st-key:
Ок, если начальный список вам нужен вместе с удаленными из главного окна (например, после чистки стоп-словами), он у вас сохранен в окне "приема" слов (вопрос ранее поднимался - пользователи попросили, разработчики сделали). Т.е. есть имеем /сохранены 2 списка, до и после обработки (второй легко берется из главного окна через Ctrl + C). Если же, при добавлении новой порции слов, не нужно снова парсить первый блок слов вместе с уже удаленными, просто, перед добавлением новой порции чистим окно приема (Ctrl+A работает, удобно), и новые спарсеные ключи не заменят - а добавятся в главное окно. Т.е., доступны любые варианты. В исходном же моменте, насколько я понял, Str256 предлагал синхронизировать обработанный список с начальным, нет? Мне представляется это лишним, более того, сужающим вариативность действий.

Возможно я не понял или в 2.0 есть доп. список (я не являюсь тестером и не видел то, что готово)

Давайте тут на примере. Ввожу в свой список:

слово1

слово2

слово3

слово4

слово5

Спарсил значения, удалил/переместил ненужное, осталось:

слово1

слово3

слово5

Нашел новые слова для кластера, хочу добавить только их, для этого стираю то, что в своем списке и добавляю в него:

слово6

слово7

В главном окне получил:

слово1

слово3

слово5

слово6

слово7

Теперь я хочу посмотреть какой у меня был изначальный свой список, какие слова я удалил/переместил. Как мне это сделать на данном этапе действий?

Что касается синхронизации - то мне она не нужна, мне как раз нужно чтобы хранились все варианты данных и к любым из них я мог вернуться.

st-key:
Если цель вкладок - чисто возможность запускать /исследовать /сравнивать сразу несколько проектов, всегда найдется тот, кому 100 вкладок будет мало, и, вот же бидабида, ну ни как не обойтись без 101. Имхо, основная прелесть вкладок будет в возможности "перекидывать" ключи из одной в другую. Вам ведь именно этого нужно? Комбинировать кластеры и т.д., да? Или упомянутая древ-структура, с возможностью по-словного переноса и общего хранения, Да, супер. Коллектор станет мега-продуктом.

Да, действительно продукт может получиться замечательный, несмотря на свою принципиальную простоту - никто еще таковой продукт для паблика не делал.

В идеале это древовидная структура где я могу не только хранить данные, но и да, перемещать их между разными папками. А-ля проводник, но в активном окне ключи и их полная статистика.

Сбор и хранение всех ключей под одним проектом ywp также позволит запускать парсинг сразу по всем ним. Сейчас для каждого проекта ywp это нужно отдельно, а сливать в один проект все ключи не вариант, к тому же экспорта в другие проекты нету и обратного импорта из csv.

Я даже не могу, как вариант, открыть отдельно кучу раз программу, так как тогда я наткнусь на такое же кол-во потоков.

Вкладки же нужны для открытия разных проектов, чтобы опять же не запускать программу несколько раз. И так я смогу просмотреть сразу несколько древовидных систем и сравнить их визуально/функционально.

Пример. Предположим есть проект с готовым большим ядром. Я копирую его и принудительно заново делаю весь парсинг спустя полгода. Затем запускаю сравнение между ними и вижу что изменилось по тем ключам, что я делал полгода назад. Идеалистически полезно будет, так как сейчас обычно делают ядра, а потом что-то поменять и отследить не хватает человеко-часов.

Так что вкладок то много не нужно будет.

st-key:
Подтверждаю. Тысячи запросов. Но очень долго - естественные издержки безостановочного парсинга. Тут фикус в том, что профилей поведения в использовании программы - масса. Кей-миллионерам нужны диапазоны пауз от 3000 до 4000,5000, прокси_антигейты. А тем, кому нужно быстро-быстро снять стату по 5 словам, причем в единичном значении, без расширения списка, им почти без пауз можно.. И куча пользователей, в поведенческом диапазоне между. Например, имеющим динамический ip, проще, оптимальней чистить куки, менять ip, чем развлекать себя длинными паузами - долгим парсингом. Что, как будет удобно именно вам, имхо, определять, искать также, именно вам. На месте разработчиков, я бы дал одну-единственную, но универсальную инструкцию - пробуйте по-разному.

Я пытаюсь понять адекватную нагрузку на 1 IP при безостановочном парсинге и чтобы это было недолго (стандартные паузы меня устраивают, уж за ночь то собрать успеет). А потом уже вопрос уткнется кол-во IP в зависимости от кол-ва проверяемых ключей, а это не проблема. Понятное дело, что антигейт страхует (кстати, по антигейту тоже нужно ввести проверку в 3 попытки и переход на другой IP, а то если антигейт не работает, то программа безостановочно долбится по нему)

st-key:
может, просто очищать окна "Свой список" /"Парсить Яндекс" перед добавлением новой порции слов на обработку? Ведь логичней, нет? Личное мнение, превращать простое окно "подачи" слов, в синхронизируемый модуль, совершенно излишне.

Да, действительно можно и так вполне, но тогда во-первых это +1 действие, во вторых я теряю отображение исходного списка слов, который потом подвергся изменениям.

Удаленные слова из исходного списка не всегда именно "плохие" слова - это могут слова перешедшие в другой список. Потому исходный список важно сохранять в памяти программы.

st-key:
А смысл? Для множества проектов, ручная последовательная обработка не сильно уступает в скорости параллельной (работа, с теми же стоп-словами организована достаточно удобно, + их автоматическое сохранение).
При автоматическом же сборе данных, при множестве, одновременно запущенных проектов, вы лишь увеличите количество запросов с вашего ip. В этом случае, без прокси, вас ни какие паузы не спасут от капчти или бана ip. Опять же, личное мнение, но работа со множеством проектов одновременно, есть вселен.. управленческое зло, приемлемое лишь в сравнительных целях, в крайне редких случаях.

Я немного не о том. У меня нет желания устраивать проверку в несколько потоков (и это действительно не нужно).

У меня есть желание по более удобной работе с программой в плане просмотра и хранения слов.

Мне бы хотелось открыть программу 1 раз и потом действовать из нее, а не открывать ее десятки раз через ярлык, если мое многотысячное ядро состоит из совсем разных кластеров, которые я для удобства разбил на разные проекты (файлы программы) и хочу просматривать одновременно.

Так что это или вкладки или в идеале древовидная структура.

Опять же это мои потребности - это может быть не всем нужно.

st-key:
Обычно как делают (в том числе и разработчики)? Просто пробуют, и так, и этак, экспериментируют. Может и вам также? А в следующем сообщении рассказать, привести цифры всем интересующимся. Все юзеры данной программы будут вам очень благодарны.

Если бы у меня были удовлетворительные результаты, я бы с радость поделился. :)

Но при стандартных паузах, что указанны в программе - бан происходит где то после пары сотен слов, при постоянной их проверке по всем 3-м частотам статистики Директа.

В то время как Александр на своем семинаре говорил, что паузы позволяют работать стабильно с программой при сборе и порядков в тысячи запросов.

Плюс мне кажется что рекомендации по наиболее удобной работе с программой позволят ее лучше продавать - так что это дело не только сугубо личное.

MyOST:
есть то что поступило, есть то что обработано, оба списка могут быть нужны, в чистом виде синхронизировать - не правильно, по логике, только если опционально (галочку синхронизации делать).

Тем более если есть конечный список - можно просто и его скопировать ведь, без захода в "свой"

Если я изменил изначальный список слов, спарсил, а затем захотел к нему добавить еще слов - то при изменении текущего списка удаленные слова из изначального списка опять появятся - и это нарушает последовательный процесс, ведь мне пока не нужно их никуда копировать.

Поэтому нужна возможность изменять именно то, что уже обработано.

Вроде именно это отчасти имел ввиду Str256.

Далее, было бы здорово по выбранному списку иметь возможность спарсить новые значения и сравнить их с предыдущими. Это бывает полезно, когда есть колебания спроса, да и вообще это полезно для долгоиграющих проектов.

Еще вроде был поднят вопрос по поводу хранения ключей в программе.

На данный момент, так как в программе только 1 активное окно для ключей - приходится для каждого кластера создавать отдельный файл и для всех ключей Excel. В этом есть и свои плюсы, но возможно ли внедрение древовидной структуры внутри программы с хранением ключей по подпапкам?

Тогда можно действительно коллекционировать ключи и при том гораздо удобнее чем в Excel.

Этот вопрос отчасти поднимал error2k.

Если это видеться сугубо опциональным - могу изменения заказать.

Частично именно это реализовано в платной программе WordStat Parser.

Также к этой же теме относятся и вкладки в программе (вопрос поднимал xikarx), они решат вопрос открытия нескольких проектов в одной запущенной программе. А то сейчас приходится запускать программу вручную столько раз, сколько создано проектов.

Еще не помешали бы ваши рекомендации относительно настройки пауз. Не всегда и не во всех местах есть возможность использовать прокси, а спарсить хочется максимум (речь в первую очередь о уточняющих частотах).

И по самим прокси тоже интересно - сколько нужно IP, чтобы ни в чем себе не отказывать при парсинге десятков тысяч запросов в день, без длительных пауз. Или это к юни уже?

П.С. Александр, спасибо за программу (а также всем кто ему помогал как-либо).

Если то, что я написал как-то уже пересекается с версией 2.0 - извиняюсь и с нетерпением жду апдейт софта :)

Каширин:
R413330122007

Оплачено.

Все в последнюю минуту... успел надеюсь? )

Рад буду увидеть и пообщаться с теми, кого знаю и познакомиться с иными.

Всего: 258