white despair: Это удобно, но не совсем понятно что делать когда в процессе нужно пополнить подключенную базу новыми стоп-словами? Экспортировать эти слова в файлик, подключать базу стоп-слов, импортировать туда, а потом снова открывать базу с которой шла работа?
Нет. Открываем принимающую базу в новом окне Браузера (отдельную копию Магадана запускать не надо), в исходном списке кеев выбираем слова, нажимаем Ctrl + C, в открытом Браузере на вкладке Импорт нажимаем Ctrl + V, нажимаем кнопку импорта. Промежуточный экспорт/импорт в/из текстового файла не требуется.
То же самое можно сделать, открыв принимающую базу в отдельной копии Магадана, но тут можно даже не импорт юзать, а просто скопипастить слова из одного окна Магадана в очередь на парсинг принимающей базы (все, что вносится в очередь, сразу же сохраняется в базе).
Помимо Ctrl + C/Ctrl + V, можно использовать Dran'n'Drop. В общем-то, это основы работы с оконным интерфейсом Windows.
Cornat: Яндекс стал бесконца сувать каптчу, раньше такого не было, какую задержкку лучше ставить чтобы не появлялась каптча?
Дело не в задержке. Это раньше капча была вариантом мини-бана, сейчас она всегда появляется на новых куках. В общем, в диалоге настроек во вкладке "Парсинг и прокси" в блоке настроек cookie ставим первый пукт ("Очищать только при старте программы"), и на территории рф ловим капчу только на первые 1-3 запроса, далее - норм. С некоторых адресов (эмпирически - не рушных) капча может вылазить на каждый запрос. Тут только разгадывать, ждите обновления софта.
Бумеранг777: заслал письмо с ошибкой. обновилась прога и перестала парсить.
Только что по всем письмам ответил. "Тип ошибки: System.IO.FileNotFoundException, Невозможно загрузить файл или сборку Newtonsoft.Json"? Если оно, то надо просто переставить Магадан полностью, скачав дистриб с новыми библиотеками с сайта. Библиотеки, к сожалению, нельзя тянуть в рамках автообновления, так что только полным дистрибом.
---------- Добавлено 06.09.2013 в 14:02 ----------
white despair: Можно сделать так чтобы этот фильтр сохранялся в проекте? Сейчас при запуске магадана и открытии проекта приходится каждый раз импортировать список стоп-слов. Было бы удобнее его просто пополнять и чтобы он сохранялся.
А он сохранялся одно время. Вообще, не очень удобно оказалось: про выставленные ранее фильтры легко забыть, в итоге в саппорт падает куча запросов о том, что куда-то пропадают слова.
А вам не нравится вариант подключения базы стоп-слов? Три клика и готово!
Да посоны стебались вконтактике над тсом, а я на линк набрел :)
XruMan:
Программа автоматически уменьшает время таймаута на количество добавленных прокси-серверов, в результате чего достигается не худшее увеличение скорости обработки данных
В прошлый четверг вышла новая сборка: поддержка вторничных нововведений ПС и ввода капчи в комплекте. За остаток рабочей недели и прошедшие выходные показала себя с хорошей стороны, со всеми известными обновлениями алгоритмов ПС работает без проблем, мелкие баги, появившиеся из-за изменений, произошедших на той неделе, исправлены. Подробности здесь: http://vk.com/magadanparser?w=wall-26971133_470
Прямая ссылка для скачивания бесплатной, не ограниченной по времени редакции Магадан LITE: Скачать! (2.1Мб)
- Актуализированы алгоритмы сбора информации из источников (изменения в алгоритмах ПС)
Прямая ссылка для скачивания бесплатной, не ограниченной по времени редакции Магадан LITE: Скачать! (2.1Мб)
Пользователям предыдущих версия в этот раз автообновлением можно принебречь: для работы программы потребуются библиотеки, идущие только в полной поставке программы (инсталляторе).
Ну6: Раньше юзал Анадырь. Году в 10. Он был круче Магадана)
Копипаста не может быть круче оригинала.
sidorka: Спарсенные кеи из вордстатов и иже с ними зачастую уже задрочены коллегами - в индексе сидят, а трафа кот наплакал. Лучшие кеи - кеи со своих проектов или из чужой статы.
перед тем, как рассуждать про "лучшее", озвучьте задачу, иначе сравнительная и превосходная степени совсем уж не к месту. сходу можно привести полно примеров, как в дорвейной, так и в иных схемах работы, когда слова из ливера будут проигрывать по всем параметрам. как ни крути, если не привязывать софт к продвигаемым некоторыми предприимчивыми товарищами весьма специфическим схемам продвижения (что есть развод нубов на бабки), вордстат - наше все.
cokol5: если есть возможность выгрузить стату из того же ЛИ, то это будет лучше работать..
угу. как на заказ понабежали. снова.
у меня вот на винте лежит ливер. весь. все открытые и "открытые" сайты со всей их статой. вы можете сказать, сколько слов из ливера имеют пересечения в базе keybooster.ru? А в пастухове? Может быть, semrush? немного статанализа, и сказочка о "множестве низкоконкурентных нч-кеев, приносящих горы трафа" разбивается о лбы все тех же нубов, коих в этой "теме" уже столько же, сколько аккаунтов на яндексе.
Поделишься мыслями? Тоже голову ломаем.
Не понял, над чем именно? Как антигейт/капчабот/декапчер прикрутить, или что?
Все равно на каждый запрос каптча выдается :(
http://vk.com/magadanparser?w=wall-26971133_503
Это удобно, но не совсем понятно что делать когда в процессе нужно пополнить подключенную базу новыми стоп-словами? Экспортировать эти слова в файлик, подключать базу стоп-слов, импортировать туда, а потом снова открывать базу с которой шла работа?
Нет. Открываем принимающую базу в новом окне Браузера (отдельную копию Магадана запускать не надо), в исходном списке кеев выбираем слова, нажимаем Ctrl + C, в открытом Браузере на вкладке Импорт нажимаем Ctrl + V, нажимаем кнопку импорта. Промежуточный экспорт/импорт в/из текстового файла не требуется.
То же самое можно сделать, открыв принимающую базу в отдельной копии Магадана, но тут можно даже не импорт юзать, а просто скопипастить слова из одного окна Магадана в очередь на парсинг принимающей базы (все, что вносится в очередь, сразу же сохраняется в базе).
Помимо Ctrl + C/Ctrl + V, можно использовать Dran'n'Drop. В общем-то, это основы работы с оконным интерфейсом Windows.
Яндекс стал бесконца сувать каптчу, раньше такого не было, какую задержкку лучше ставить чтобы не появлялась каптча?
Дело не в задержке. Это раньше капча была вариантом мини-бана, сейчас она всегда появляется на новых куках. В общем, в диалоге настроек во вкладке "Парсинг и прокси" в блоке настроек cookie ставим первый пукт ("Очищать только при старте программы"), и на территории рф ловим капчу только на первые 1-3 запроса, далее - норм. С некоторых адресов (эмпирически - не рушных) капча может вылазить на каждый запрос. Тут только разгадывать, ждите обновления софта.
заслал письмо с ошибкой. обновилась прога и перестала парсить.
Только что по всем письмам ответил. "Тип ошибки: System.IO.FileNotFoundException, Невозможно загрузить файл или сборку Newtonsoft.Json"? Если оно, то надо просто переставить Магадан полностью, скачав дистриб с новыми библиотеками с сайта. Библиотеки, к сожалению, нельзя тянуть в рамках автообновления, так что только полным дистрибом.
---------- Добавлено 06.09.2013 в 14:02 ----------
Можно сделать так чтобы этот фильтр сохранялся в проекте? Сейчас при запуске магадана и открытии проекта приходится каждый раз импортировать список стоп-слов. Было бы удобнее его просто пополнять и чтобы он сохранялся.
А он сохранялся одно время. Вообще, не очень удобно оказалось: про выставленные ранее фильтры легко забыть, в итоге в саппорт падает куча запросов о том, что куда-то пропадают слова.
А вам не нравится вариант подключения базы стоп-слов? Три клика и готово!
Ничосе вы тему подняли)
Да посоны стебались вконтактике над тсом, а я на линк набрел :)
Программа автоматически уменьшает время таймаута на количество добавленных прокси-серверов, в результате чего достигается не худшее увеличение скорости обработки данных
Какой лютый бред.
Чейта сайт не открывается...
Открывался и открывается, аптайм седня в норме. Может временный затык был в проводах.
Новый Магадан - 2.2.8.2!
В прошлый четверг вышла новая сборка: поддержка вторничных нововведений ПС и ввода капчи в комплекте. За остаток рабочей недели и прошедшие выходные показала себя с хорошей стороны, со всеми известными обновлениями алгоритмов ПС работает без проблем, мелкие баги, появившиеся из-за изменений, произошедших на той неделе, исправлены. Подробности здесь: http://vk.com/magadanparser?w=wall-26971133_470
Прямая ссылка для скачивания бесплатной, не ограниченной по времени редакции Магадан LITE: Скачать! (2.1Мб)
Новый Магадан - 2.2.8.1!
Обновление адаптирует программу под субботние изменения в алгоритмах ПС.
Прямая ссылка для скачивания бесплатной, не ограниченной по времени редакции Магадан LITE: Скачать! (2.1Мб)
Подробнее на страничке Магадана ВКонтакте: http://vk.com/feed?w=wall-26971133_423
Новый Магадан - 2.2.8!
Вышел еще вчера, но я забыл сделать репост:
- Актуализированы алгоритмы сбора информации из источников (изменения в алгоритмах ПС)
Прямая ссылка для скачивания бесплатной, не ограниченной по времени редакции Магадан LITE: Скачать! (2.1Мб)
Пользователям предыдущих версия в этот раз автообновлением можно принебречь: для работы программы потребуются библиотеки, идущие только в полной поставке программы (инсталляторе).
Подробнее в на страничке Магадана ВКонтакте: http://vk.com/magadanparser?w=wall-26971133_370
Раньше юзал Анадырь. Году в 10. Он был круче Магадана)
Копипаста не может быть круче оригинала.
Спарсенные кеи из вордстатов и иже с ними зачастую уже задрочены коллегами - в индексе сидят, а трафа кот наплакал. Лучшие кеи - кеи со своих проектов или из чужой статы.
перед тем, как рассуждать про "лучшее", озвучьте задачу, иначе сравнительная и превосходная степени совсем уж не к месту. сходу можно привести полно примеров, как в дорвейной, так и в иных схемах работы, когда слова из ливера будут проигрывать по всем параметрам. как ни крути, если не привязывать софт к продвигаемым некоторыми предприимчивыми товарищами весьма специфическим схемам продвижения (что есть развод нубов на бабки), вордстат - наше все.
если есть возможность выгрузить стату из того же ЛИ, то это будет лучше работать..
угу. как на заказ понабежали. снова.
у меня вот на винте лежит ливер. весь. все открытые и "открытые" сайты со всей их статой. вы можете сказать, сколько слов из ливера имеют пересечения в базе keybooster.ru? А в пастухове? Может быть, semrush? немного статанализа, и сказочка о "множестве низкоконкурентных нч-кеев, приносящих горы трафа" разбивается о лбы все тех же нубов, коих в этой "теме" уже столько же, сколько аккаунтов на яндексе.