с чего начать?

Любопытно, как идея. Вряд ли это возможно - на это есть несколько причин:

1) Поисковые системы имеют инерционность с индексированием документов, и любая модель не сможет реагировать на оперативные изменения конъюнктуры рынка - в лучшем случае получится ex-post-прогноз (прогноз свершившихся событий).

2) Необходимо формирование корректных критериев (индикаторов). Пример: возросло число запросов по недвижимости => значит, начинается или ожидается рост цен на нее (или наоборот?!) - семантикой тут не обойтись. Или возросло число документов, найденных по запросу => ...

Выводы по таким критериям можно (?) сформировать на основе статистики, но где ее взять?

Проще нанять аналитика, засадить его за просмотр новостей, плюс второго за трендовый и дисперсный анализ - и то лучше будет.

P.S. Кстати, абсолютно реально защитить диссертацию по этому вопросу где-нибудь в районах Крайнего Севера

Сначала общие соображения о поисковиках:

как правило, новостные агентства выделяются в приорететную

группу, переиндексация которой производится несколько раз в сутки.

Из российских поисковиков, на сколько мне известно, возможность поиска

по новостям предоставляет только Яндекс, кроме того у него лучше других

развита возможность поиска по конкретному сайту. Правда здесь есть

одно но: лицензионное соглашение Яндекса запрещает использование поисковой

машины для сбора подобной статистики. Думаю, что договорится с ними можно,

но учитывая специфику навряд ли за бесплатно.

Теперь немного о статистике. Я эту науку не изучал, по моей специальности

предусматривался только семестровый курс по теории вероятностей, но всё же

есть два термина, которые я помню, и которые для данного случая не совсем

очевидны. Вот эти термины: доверительный интервал и несмещённость оценки.

И с новостями они у меня как-то плохо вяжутся.

И теперь о курсах. Тут я полный профан, но что-то мне подсказывает, что

материалы, касающиеся самого форекса меньше коррелируют с курсом, чем

материалы полетического характера. Особенно в России.

А если не растопыривать пальцы и не кидаться малопонятными терминами

(это я о себе ), то просто поясни информацию какого рода ты

собираешься получать из поисковиков, и мы тебе обязательно подскажем.

Всё-таки не удержусь от ещё одного размышления на тему.

Страны ОПЕК отложили принятие решения об ограничении добычи/экспорта

нефти до января следующего года. Что привело к дальнейшему снижению

цен на нефть. Что в свою очередь неминуемо придедёт (или уже привело)

к снижению курса валют тех стран, где основу бюджета составляет

экспорт нефти. Расскажи пожалуйста, каким образом, ты собираешься

отловить сей факт?

2Storm: критерии придется отыскивать, конкретную статистику придется накапливать ... Можно попытаться создать статистический массив задним числом - используя "старые новости" - они ведь помечены датой?!

"Проще нанять аналитика" - это только кажется: что он будет делать, гадать на кофейной гуще? Вообще - технологий среднесрочных спекуляций существует несколько типов: использование ГРАМОТНОГО аналитика - одна из них, но я обсуждаю - ДРУГУЮ технологию...

2AiK: я не понял, что именно и кому именно "запрещает лицензионное соглашение Яндекса"? Разве не любые запросы к Яндексу я имею право делать?

На языке статистики (скорее даже - эконометрики) задача может быть сформулирована так: выделить ПЕРЕМЕННЫЕ, формируемые на основе семантического анализа текущего контента, которые будут иметь ПРЕДСКАЗАТЕЛЬНУЮ СИЛУ для среднесрочного - масштаба дней - движения валютных курсов.

Два слова про Форекс: обычно этим словом обозначают игру ровно с четырьмя основными валютами - японская йена (JPYUSD), британский фунт (USDGBP), евро (USDEUR) и швейцарский франк (CHFUSD). Доллар США присутствует подспудно (это видно и из приведенных обозначений), поскольку ведется спекуляция курсами указанных четырех валют ОТНОСИТЕЛЬНО доллара США. Есть конечно и более широкое понимание форекса, включающее другие валюты - вплоть до самых экзотических, но я говорю именно об этих четырех ...

Таким образом, "форекс особенно в России" - меня мало интересует, также как и "снижение курса валют тех стран, где основу бюджета составляет экспорт нефти". И хотя на курсы указанных пяти (включая USD) основных валют конечно же влияют и глобальные и внутренние экономическо-политические события, но содержательный анализ этого влияния есть дело непростое и наверняка трудно формализуемое ...

Я же хочу попытаться нащупать в контенте интернет-новостей статистически формализуемые СЕМАНТИЧЕСКИЕ ИНДИКАТОРЫ. Прежде всего меня интересуют такие "специфические" новости, какими являются непосредственно ПРОГНОЗЫ БУДУЩЕГО ДВИЖЕНИЯ валют от "значимых прогнозистов" - какими запросами и в каких системах их лучше вылавливать?

С уважением, Иван FXS

Попробуйте воспользоваться поиском новостей на Рамблере. Индекс этой базы обновляется несколько раз в день. Также Вам может быть полезен поиск по Рамблер-Медиа. В нем, кстати, тоже база обновляется очень часто.

С уважением,

Влад

[This message has been edited by vs (edited 22-11-2001).]

Отлично. Ищем семантические индикаторы. Но помним про то, очень часто ошибки первичных измерений многократно увеличиваются при переходе, например, к прогнозам. В данном случае это очень актуально, учитывая, что этими измерениями будут результаты семантического анализа текстов, выдаваемых поисковыми системами. Источников ошибок здесь не счесть - начиная от ошибок семантического анализа и заканчивая достоверностью информации новостных серверов (если ищутся новости), а также ограниченностью результатов поиска.

Во-вторых, как на основе подобных данных возможно оценивать качество прогноза? Да простят меня другие участники форума, но как КОРРЕКТНО оценить значимость вводимого критерия по соответствующему тесту (что невозможно при малом числе наблюдений), определить отсутствие автокорреляции ошибок и проч.?

В итоге все сводится к гаданию на кофейной гуще, коей и призван заниматься аналитик.

Я посвятил фондовому рынку более 5 лет, поэтому позволю совет : Не стоит туда соваться, если нет очевидных конкурентных преимуществ по отношению к основным игрокам.

Что касается идеи, то я ее не увидел. Фундаментальный анализ не осилить с наскока, так же как и SE.

Добрый день!

Это в самом деле вопросы не совсем по профилю Форума: есть специальные "площадки" для обсуждения аспектов трэйдинговых технология. Основная, ИМХО: http://no-cache.moysha.ru/wtboard/ ... Уверяю Вас, меня абсолютно не интересует "гадание на кофейной гуще" ;-)

(Наверное, это и ответ коллеге NeMaster на "осилить с наскока" и "очевидных конкурентных преимуществ по отношению к основным игрокам"... Почему, кстати, Вам так хочется обязательно ОСНОВНЫХ игроков сразу переиграть?)

Как встроить в трэйдинговую технологию блок формализованого семантического и статистического анализа SE-контента, - вот вопрос по теме данного Форума!

НП, Иван FXS

може метод группового учета аргументов?

и нейросеть (Хопфилда)? как раз учитывать кореляции на малой выборке и фильтровать вход.Тут ведь поисковая система должна искать всё, а реагировать на малое, но быть не статической по идее... Точнее это уже не поисковая, а экспертная система....