YAST Keywords - Автоматизация составления семантического ядра

M0
На сайте с 10.06.2009
Offline
91
#81

Автор, ну появись же, и поправь эту капчу, плиз. При запуске слова (часто прямо первого) она что-то качает и дальше всегда капча. Почему Магадан часами автопарсит, а здесь сразу капча? Хорошая по задумке прога, а пользваться практически невозможно.

G
На сайте с 21.01.2008
Offline
224
#82

Хорошая программа. Есть небольшое пожелание. Хотелось бы, чтобы появилась дополнительная кнопка, позволяющая просчитать Яндекс и Рамблер (всего и точно), сайты и KEI для уже существующих (отобранных) фраз. А сейчас получается, что расчёт ведётся только для той фразы, для которой ищутся ассоциации.

M
На сайте с 27.10.2009
Offline
12
#83
Mike05:
Автор, ну появись же, и поправь эту капчу, плиз. При запуске слова (часто прямо первого) она что-то качает и дальше всегда капча. Почему Магадан часами автопарсит, а здесь сразу капча? Хорошая по задумке прога, а пользваться практически невозможно.

А что не так с капчей? Капча начинает появляться в зависимости от частоты обращений к вордстату с вашего айпишника. Если в течении 3..5 секунд запрашивалось более 1 слова - капча до окончания суток.

Не хотите чтобы капча появлялась - не анализируйте более одного слова за раз.

mawr добавил 04.12.2009 в 10:06

Mike05:
1. Капча появляется и при последовательном вводе запросов, даже после больших пауз. Причем, их теперь по две на запрос - совсем тоскливо. Сегодня запустил, сделал один запрос, отвлекся, через 15 мин запустил второй - сразу капча.

Значит с вашего айпишника были в этот момент запросы к вордстату с другими словами. Это проверено экспериментально. Например, работает Yast Keyword, анализирует слово "покер", в этот момент начинаем анализ следующего слова или из браузера обращаемся к вордстату и проверяем слово "пластиковые окна" - 100% капча. А вот если спокойно анализируем слово "покер", не дергая вордстат, и переходим к следующему слову ("покер скачат") ТОЛЬКО ПОСЛЕ того как анализ закончен (часики сменились на синюю булавку) - никаких капч не наблюдается.

Mike05:
2. Что-то показатель Яндекс(сайтов) не то показывает. Например, по слову "покер" 4560 сайтов - чушь, их на порядки больше.

Поиск mail.ru обеспечивается яндексом, берем пример: http://go.mail.ru/search?mailru=1&q=%EF%EE%EA%E5%F0 - "Найдено сайтов: 4'448, документов: 24'264'437". Сам яндекс (http://yandex.ru/yandsearch?text=покер) дает такую статистику: "Нашлось

24 млн страниц". Почему такое недоверие к цифре 4448?

Mike05:
3. Подтверждаю случаи неостановимого повторного ввода капчи без результатов.

Проблема вордстата, достигал такого в браузере, при ручном анализе.

Mike05:
4. Почему на достаточно мощном компе 25к строк кейвордов загружаются в прогу более 15 минут (забирая 100% одного из 4х процессоров) - для меня загадка. Автор, чем она занимается? Расскажите алгоритм, и наверняка придумаем, как это ускорить.

Занимается заполнением тормозного контрола ListView, который в ближайших версиях будет заменен на быстродействующий аналог.

Mike05:
5. Мелочь, но отображение номера текущей фразы рядом с общим их числом внизу - обязательно. Иначе фих что можно найти, где остановился.

Уже в туду листе.

Mike05:
6. Выделение нескольких фраз и последовательная обработка подряд - _очень_ желательна.

Справедливо, занес в туду.

Mike05:
7. КЕИ - по ощущениям, ничего полезного не показывает, хотя может это из-за глюка с числом сайтов.

Для многословных ключевиков (3 и более слов) - чем выше, тем проще продвигать. Для более коротких, согласен, безсмысленен.

Mike05:
...если бы побороть капчи - цены бы ей не было...

При последовательном анализе капчи не возникает. ТОЛЬКО при одновременном (~3 сек) обращении к вордстату с РАЗНЫМИ ключами с одного IP.

Mike05:
И еще. Вот сейчас вновь запустил прогу, проверка первой фразы - думала минуты 4, причем отследил - все время был активный обмен с инетом, закачала порядка 19Мбайт. Очень интересно, что это такое?

Запрос к вордастату для нахождению точного числа запросов, затем к мэилу для числа сайтов, затем опять к вордстату для поиска ВСЕХ ассоциаций, затем логин на рамблер, и адстатат по всем страницам для поиска рамблеровских ассоциаций.
Но! 19 мегабайт - это перебор, может в этот момент винда обновлялась или еще что-то качалось?

Mike05:
И еще вопрос к автору. Если фраза уже была проверена, а потом проверяется вновь, как прога поступает с новыми значениями? Такое впечатление, что если старое было больше нового, то оно не меняется.

Именно так и работает.

mawr добавил 04.12.2009 в 10:11
Mike05:
Автор, ну появись же, и поправь эту капчу, плиз. При запуске слова (часто прямо первого) она что-то качает и дальше всегда капча. Почему Магадан часами автопарсит, а здесь сразу капча? Хорошая по задумке прога, а пользваться практически невозможно.


Что за магадан? Киньте в меня линком плиз.
alekzey
На сайте с 19.09.2005
Offline
140
#84

mawr, подскажите, а планируется ли в следующих версиях:

1. Антикаптча

2. Режим последовательного анализа (что бы при выделении нескольких слов и запуске анализа они отрабатывали только последовательно и с определенной задержкой между ними)

3. Режим полного удаления ключей. Поясню, что бы ключи удаленные при включенном режиме удалялись из списка, но добавлялись в какой нибудь стоп-лист данного проекта, и если они всплывали бы при последующих анализах - то программа бы их просто игнорировала.

Пример: ищу "лесопильное оборудование" - получаю среди всего "досуг новосибирск", данный ключевик явно лишний в этом анализе и 100% не понадобится, а вручную его 10 раз подряд вычищать - неохота. А так - нажал del и больше он не мешает.

PS. Магадан - http://l00t.ru/magadan

WBR, AlekZey Абарис (http://abaris.ru) - продвижение сайтов в Новосибирске (http://www.siteseo.ru) Как узнать траст домена (http://abaris.ru/trust.html)
M0
На сайте с 10.06.2009
Offline
91
#85
mawr:
А что не так с капчей? Капча начинает появляться в зависимости от частоты обращений к вордстату с вашего айпишника. Если в течении 3..5 секунд запрашивалось более 1 слова - капча до окончания суток.

Не хотите чтобы капча появлялась - не анализируйте более одного слова за раз.

Еще раз. При запуске первого слова (иногда - не первого, а несколько анализируются нормально, и лишь затем на очередном этот баг) прога долго что-то качает из инета (именно эта прога - следил по фаерволу, обмен с адресом advq.yandex.ru, закачка пары десятков мег), и после завершения этого слова через несколько минут - всегда капча. Никаких других запросов к яндексу в этот период не делается.


Именно так и работает.

Это неправильно. Если получено новое ненулевое значение, то надо заменять старое. Например, при повторной работе со старым файлом значения уже могли обновиться.


Что за магадан? Киньте в меня линком плиз.

http://l00t.ru/magadan/ - делает все то же, только в автоматическом режиме: слово, потом все его ассоциации и т.д. - процесс бесконечный, и много лишнего, тем и неудобен. Но работает без капч.

Да, ну и уже писали:

- хорошо бы уметь проверять фразу без добавления других фраз

- загружать список ключевиков из файла

- почему некоторые конкретные фразы залипают - непонятно (сбросишь ее, сделаешь другую - нормально, опять эту - опять залипает, и так несколько раз, пока не плюнешь).

Но главное, все же, капча - напрочь делает невозможной работу.

LS
На сайте с 20.12.2006
Offline
55
#86

спасибо за программу

можно добавить вкладки в одном окне программы для новых ключевых слов, а то каждый раз открывается новое окно, что по моемому не очень удобно.

Как можно копировать выделенные фразы находять в окне программы?

Крым отдых в Евпатории (http://rest-evpatoria.org.ua) Физика Математика решение задач (http://fizika-matematika.info) Физика Математика решение задач (http://otli4nik.org/)
HiMiC
На сайте с 17.08.2009
Offline
10
#87

Програма хорошая, решил воспользоваться, посмотрим.Через 2 часа будет 00 по москве, а тпм посмотрим уберется ли капча.

Предлагаю ввести лимит от ~3 до ~5 сек на нажатие "найти ассоциации" (можно даже бета версию для тестирования раздать с разными интервалами времени) Чтоб не мучаться с капчей.

Сделать сохранение проекта по ctrl+c.

Добавить кнопку поиска по "слову" из найденных кейвордов.

А то если идти сверху вниз и нажимая наити ассоциации, некоторые результаты оказываютс выше того слова которое исследуем.

Приходится по 2 круги проходить и прочитывать штук по 8000 строчек.

+ те слова которые исследуем тоже иногда ускакивают вверх, а некоторые на месте остаются.

Сделать кнопку "назад", т.е. отменить последние добавленные ассоциации, на 1,2,3 раза. Иногда не доволен результатами добавленными в общюю таблицу.

Если исследовать слова в новом окне, то желательно выделенные слова там можно было перенести в общюю таблицу. Но думаю это решится если сделать как предлагали выше - сделать вкладки, а не каждый раз в новом окне.

Можно было бы сделать чтото типа лога(во вкладке) какие новые слова добавились после последнего запроса.(чтоб знать что я собираюсь удалить кнопкой "назад")

+5 нашёл список проксей на компе за прошлый месяц. Вбил один, работает. Капча не вылазит, но время с задержкой стало. Но это лучше чем капчу набирать, более 1000 вбил, выйгрывал по 1 разу 000000 888888 ))) я когда вбивал приговаривал: у меня такое количество уников.

Поставить к проксе проверку прокси и поддержку Sock. Может даже в дальнейшем поддержку многих прокси из текстового фаила.

На некоторых проксях тоже просят капчу. Видно их ктото уже использовал до меня.

http://www.youtube.com/watch?v=Umh_qOMNUC8 (http://www.youtube.com/watch?v=Umh_qOMNUC8) Скованные одной цепью, связанные одной целью..
D
На сайте с 15.07.2008
Offline
130
#88

Скажите пожалуйста каким образом вы узнаете достоверное количество запросов из статистики вордстата? Вы написали:

Количество точных запросов в Яндексе теперь получается достоверно точно из самой статистики wordstat-а (при помощи кавычек и знака восклицания)

Я уже все перепробовал с кавычками и восклицательным знаком. Насколько я понял чтобы узнать достоверное католичество запросов в вордстате надо в его строке прописать следующие "!ключ". Но у меня ничего не выходит. Помогите разобраться, что писать в строке поиска?

C
На сайте с 22.06.2009
Offline
38
#89

ето для одного слова "!ключ" а для двох слов и более то "!ключ !ключ !ключ"

скачайте прогу и проверьте

Быстробот Яндекса нужен? Вам сюда (http://beta.fastbot.org/?ref=209)
M
На сайте с 27.10.2009
Offline
12
#90

В связи с высокой загруженностью, кардинальная переделка парсера переносится на конец февраля.

Выложена версия 0.1.1.29 в которой произведена адаптация алгоритма работы с вордстатом и позволяющая избежать капчи.

Скачать YASTKeywords v.0.1.1.29

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий