Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Для яндекса и гугла оно, вроде, и так есть. Только в силу нашего алгоритма сбора оно не влияет на результат.

MIND, следуя традиции, не могу не сказать про красные кнопки.

Перестала срабатывать большая красная кнопка "Остановить". Раз на раз.

Дополнительно: предложение (практически, крик души, поскольку угнетается базовый принцип юзабилити), зачем, чтобы остановить парсинг "вообще все", необходимо открыть контекст кнопки? Может "вообще все" будем выключать одним кликом?, ... а контекст пусть открывает тот, и только тот, кому надо прекратить какой-либо отдельный процесс.

велика вероятность ошибки:

1 - промахнулся

2 - привыкли уже к такому (а сила привычки велика)

проверим

1) насколько чаще выключаете отдельный процесс?

2) а тыщимиллионы новых пользователей? .. и из старых, привыкли далеко не все ..

в 70% случаев примерно именно отдельный процесс, т.к. в 90% случаев я пользуюсь кнопкой "парсить все" и по обстоятельствам смотрю что лучше отключить, если не так пошло или нужно перезадать параметры, но это индивидуально у каждого.

количество не буду называть, но с внедрения версии 2, с НГ, это гораздо больше, чем было ДО и тут уже не может быть спонтанных изменений, привычки порой выше стоят, чем многие моменты.

собсно, дежурная засада юзабилити.

ок, спасибо за определенность по вопросу.

st-key добавил 26.04.2011 в 02:15

Еще момент, график сезонности (весьма и весьма полезный) неудобно отсматривать для многих строк по списку. Картинка загораживает следующую ячейку, по которой нужно кликнуть. Можно график выводить не точно под/над ячейкой значения, а чуть сбоку?

Вопрос по парсингу поисковых подсказок

Введено для парсинга 24000 ключевых слов, для того что бы спарсить по ним подсказки Яндекса, Гугла и Рамблера.

Работа идет через 50 проксей в 10 потоков с тайм аутом у подсказок 500-1500 с глубиной парсинга 1.

Примерно на 2400 ключе пошло сообщение:

"Ошибка парсинга поисковых подсказок Google"

"Ошибка парсинга поисковых подсказок Rambler"

Найдено результатов 9850

И собственно дальше не идет, а только выдаются сообщения о ошибках.

Это что значит?

Как с этим бороться и надо ли с этим бороться?

ну вообще, как бы грубо это не звучало , но это п...ц

я бы на месте ПС тоже забанил давным давно такие обращения со скольки проксей бы оно не шло, тем более с таким малым таймаутом

В парсинг подсказок нужно выводить не ВСЕ слова, а только направления!

Я не удивлюсь если следующим шагом при таком подходе будет бан аккаунтов в других системах.

А какой тайм аут не малый? Тот который я поставил указан у вас в хелпе

На счет направлений, я немного не согласен, у меня уже есть база довольно точных ключей по моей тематике, и я хочу ее просто проверить, не упустил ли чего.

А про парсинг по направлению, он меня заведет в такие дебри, что я потом зачахну разгребать мусор, от ненужных регионов и тематик.

Я и пытаюсь понять может ли ваша программа спарсить подсказки только по нужному мне ключу, для этого и выставляю глубину 1.

На счет бана аккаунта в других системах - непонял?

в хелпе у нас расчет не на такие объемы парсинга, это нужно понимать

может, но для таких зверских объемов не обойтись 50 проксями, возьмите хотя бы 200 хороших проксей

ну загнать 24к слов на оценку в ссылочных агрегаторах, я не удивлюсь, если аккаунт забанят