Key Collector - автоматизированная система анализа семантического ядра. Часть 4.

в данный момент многопоточность парсинга XML не поддерживается

В планах есть, реализовано будет позже.

Это уже понятно, ну а прокси то из списка, указанные в настройках Yandex.XML в формате с диезом (#), по очереди перебирает? Или долбает до упора в первую/случайно взятую итп?

На данный момент должен долбить до тех пор, пока в лимит не упрется. Затем берет следующий акк. Каши из форматов не допускается.

А вот еще загадочка.

Запустил сбор данных для вычисления KEI с яндекса, одновременно с этим работает съем позиций, все это работает через YXML, сборщик KEI снял пару тысяч значений и издох:

14.06.2011 22:51:41: процесс вычисления составляющих Yandex для KEI начат

14.06.2011 22:51:41: парсинг KEI при активированном Yandex.XML возможен только в однопоточном режиме. Парсинг будет начат в один поток

14.06.2011 22:51:43: возникла ошибка при работе с Yandex.XML: Синтаксическая ошибка

14.06.2011 22:51:43: выполняется попытка использования очередного аккаунта Yandex.XML [company]

И не запускается больше.

Съем позиций перезапускается и работает нормально.

Anton, скоро пересмотрим систему. Спасибо за сообщение

Косяк с синтаксической ошибкой отдебажил. Оказалось, что он вылезает, когда в ключевом слове встречается двоеточие ":".

Там вроде можно настроить, чтобы вырезались определённые символы.

Можно, но это допустимо при генерации семядра. У меня же идет анализ того, что есть на сайте и лежит в БД, поэтому приходится анализировать то, что есть и именно в том виде, в каком оно есть, тк потом результаты этого анализа заносятся обратно в базу и тут вольности с вырезанием спецсимволов итп недопустимы.

Статистика ПС эти символы вырезает или ключи с ними игнорирует. Найдите дубли в базе данных различающиеся только знаками препинания. И анализируйте их отдельно.

Так мне потом из csv экспорта все это в базу обратно записывать нужно, а чтобы записать, нужно запись найти по точному совпадению кея, поэтому ничего резать нельзя. Как ПС реагирует на эти спецсимволы меня не особо волнует.