Импорт 600к ключей utf-8:
Между импортом в базу и загрузкой слов в интерфейс есть большая разница. Если есть желание вертеть 160к одновременно в одном окне - необходимо иметь адекватный запас оперативы. Импорт же сожрет любое количество слов, как оно и должно быть.
Попробуйте, пожалуйста, экспортнуть ту же базу на сегодняшнем обновлении: 2.2.9.16 (LITE, PRO).
Если фаза "Инициализации" при экспорте занимает долгое время (сильно зависит от ОС и носителя), в расширенных настройках диалога экспорта поставьте галочку "Отключить пересчет": индикатор процесса будет примерным, но на обсчете таблиц можно будет сэкономить время. Ну и в целом алгоритм поменял, теперь оперативы требуется сильно меньше.
Тип ошибки: System.OutOfMemoryException
ок, спасибо. Базу получится выложить? Если будет база, можно будет уже сегодня склепать патч с предметным тестом.
Источник: mscorlib Стек: в System.String.GetStringForStringBuilder(String value, Int32 startIndex, Int32 length, Int32 capacity) в System.Text.StringBuilder.GetNewString(String currentString, Int32 requiredLength) в System.Text.StringBuilder.Append(String value) в Magadan.CExportTXT.DoExport(IKeywordsSource keywordsSource, String exportFilename, Boolean appendFile, Boolean ExportStats, String ExportDelimiter, Boolean RemovePlusSigns, Encoding Encoding, Boolean ExportExpandedTree, String ExportExpandedTreeDelimiter, Boolean AlignExpandedTreeStatsColumn) в Magadan.ctrlKeywordsBrowserLight.<>c__DisplayClass43.<ExportKeywordsWorkaround>b__3f() в Magadan.CDoubleProgressBarDialog2._worker() в System.Threading.ThreadHelper.ThreadStart_Context(Object state) в System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state) в System.Threading.ThreadHelper.ThreadStart()
Это не очень похоже на содержимое отчета об ошибке, который генерит Магадан под виндой. Как минимум не хватает типа ошибки, указания на используемую редакцию и версию. Эти данные сохранились? Если ошибка воспроизводится, скиньте, пожалуйста.
Как именно экспортировали? Полный экспорт делали, или все 3кк в окно загрузили?
Я, в свою очередь, ничего конкретного без базы сказать не смогу. 3кк - не тот объем, чтобы экспорт умирал. Видимо, что-то специфичное. Если получится, киньте линк на архив с базой на support@magadanparser.ru. Ключи никуда не утекут, база будет убита сразу после разбирательства.
Рублей.
Нет.
ТС просил чекать именно через директ?!
Магадан - крутой.
пфф. Магадан 555к схавает без проблем и еще попросит.
он столько не прожует.
а этих столько не нужно.
Минутка математики: 250 приватных персональных прокси стоят минимум 6к рублей в месяц (и это на чужом сервере). По вашим ставкам (4 бакса за 200к слов, т.е. 136р.) вы должны сделать в месяц минимум 46 заказов только чтобы отбить прокси.
Среди живого парсинга? Конечно не находили: никто не хочет работать в минус. Выборки же по пастухову и кейбустеру бывают и дешевле.
через директ - не обязательно.
через директ - не в 1 поток.
через директ - задержка не 5-15.
через вордстат - тоже не 5-15.
капча на небольших объемах? она ВООБЩЕ не появляется. если появляется "в домашних условиях", значит накосячили очень сильно. если появляется при использовании "250 приватных персональных проксей", значит нет слов, чтобы описать степень косячества.
Я склоняюсь к выводу, что живого парсинга у вас там с гулькин нос. Получил тс очередной скан по пастухову и ушел довольный, обосрав попутно Магадан.
Новый Магадан — 2.2.9.15!
— Реализовано сохранение статуса выключателей Генератора и Фильтра ключевых слов в элементе интерфейса «Список ключевых слов».
— Фильтр ключевых слов обучен автоматически сохранять и восстанавливать загруженные списки слов фильтрации (разрешенных- и стоп-слов), а также списки подключенных баз с теми же словами.
— Мелкие багфиксы и доработки интерфейса.
Прямая ссылка для скачивания бесплатной, не ограниченной по времени редакции Магадан LITE: Скачать! (7.2Мб)
Новый Магадан — 2.2.9.14!
— Добавлена поддержка Генератором ключевых слов операторов [] и () (квадратные и круглые скобки)
— Добавлена возможность задать шаблон имени файла экспорта
— Мелкие доработки интерфейса и багфиксы
— Модифицирована реакция программы на проблемы обновления версии используемой системы управления базой данных
Новый Магадан — 2.2.9.13!
— Реализован один из вариантов обхода требования ввода значения CAPTCHA.
— Добавлена поддержка генератора ключевых слов в списках собранных ключевых слов главного окна программы.
— В сэмплер генератора ключевых слов добавлено контекстное меню элемента интерфейса «Список ключевых слов».
— Обновлена версия используемой СУБД.
— Обновлены различные участки интерфейса программы.
— Исправлена ошибка некорректной сортировки ключевых слов по значению статистики показов в интерфейсе элемента «Список ключевых слов».
— Исправлена ошибка, приводящая к сбросу текущей позиции курсора в элементе интерфейса «Список ключевых слов» при перемещении ключевых слов в список фильтра.
— Исправлена ошибка переноса ключевых слов в группу «Все слова».
