Сбор аналитики через Рунет

12
Deni
На сайте с 15.04.2006
Offline
355
765
Приветствую всех


Возникла нетривиальная задача по сбору , систематизации и хранению аналитической информации.

Все банально.
Есть крупная компания которая желает знать где и в каких падежах склоняют ее имя и имена ее конкурентов.


В моем понимании требуется:
  • Мониторинг форумов по теме компании
  • Мониторинг тематических сайтов
  • Мониторинг СМИ
  • Мониторинг поисковой выдачи по всем ПС


Банальный пример - на форуме упомянули имя компании. Программный комплекс это отследил. Сохранил. Передал Администратору. Сообщение отправляется пресс-секретарю и следует оперативный ответ на форуме.
Или же мониторинг новостей. По ключевым словам новость опознана как нужная. Идет ее сохранение в каком либо формате в базе данных

По примерно такому же принципу и построение мониторинга конкурентов.

То есть получается развернутая система по регулярному сканированию определенных ресурсов и поисковой выдачи на предмет поиска нужной информации (что то сразу дорвейщики вспомнились с их парсерами ПС :) )

Вопрос.
  • Известно ли кому либо об уже существовании подобных систем?
  • Может быть уже имеются готовые и рабочие варианты?
  • Каков порядок цен может быть на реализацию всего этого? (1-2-5-7-10-15-20 тысяч $ ? )
SubAqua
На сайте с 21.10.2005
Offline
199
#1

Deni, подобная задача была, все решилось очень просто. Составили свой перечень требуемых параметров, простая БД со связаим таблиц. Далее поиск, перекрестные ссылки внутри БД..

Deni:
задача по сбору , систематизации и хранению аналитической информации.

На самом деле за серьезными выражениями стоят простые решения :)

Deni:
и следует оперативный ответ на форуме.

Ну вот этого я не понял, в общем смотрите по своим задачам.

Обращаться к каким-то сторонним программам оказалось бессмысленным, потому что в итоге каждая программа писалась либо под свои нужды, либо делалась "на продажу".. В любом случае чего-то нехватало.

Deni
На сайте с 15.04.2006
Offline
355
#2

SubAqua, Вы не поняли :)

Нужен программный комплекс который будет в автоматическом режиме собирать информацию. Именно собирать.

А что непонятного по форуму ? :)

Система дает сигнал что где то на форуме пошло сообщение с участием ключевых фраз. Пресс-секретарю идет уведомление. И от человека следует ответ.

По такой схеме уже много лет работает АвтоМир например на форумах Авто.ру

SubAqua
На сайте с 21.10.2005
Offline
199
#3

Пардон, невнимательно следил.. тут ключевой момент конечно

Deni:
Программный комплекс... в автоматическом режиме собирать информацию

У нас же задача решилась анализом ключевиков, подпиской на Яндекс-запросы и еще чем-то, не помню..

Все конечно вручную.

Dreammaker
На сайте с 20.04.2006
Offline
570
#4

Deni, часть задач этой системы напоминает разработку моего знакомого, но скорее всего её нужно будет переписывать под конкретные нужды. Когда он появится в асе я поговорю с ним.

D
На сайте с 21.06.2006
Offline
168
#5

Как вы собираетесь отслеживать тысячи форумов с миллионами сообщений ежедневно?

ПС их не индексирует полностью и оперативно. Немногие из них имеют экспорт в RSS.

Остальное элементарно и доступно любому начинающему, только знай как парсить RSS и поисковую выдачу.

Отдельные решения есть, а вот комплекс, чтобы сразу со всех источников и в базу, я не встречал.

Appstorespy - платформа анализа мобильных сторов | Publa.io - готовая инфраструктура для приема платежей и оплаты рекламных кабинетов в бурже
Deni
На сайте с 15.04.2006
Offline
355
#6

Dash, Тысячи форумов совсем не обязательно. Разговор идет исключительно о тематических форумах по теме компании. Таких от силы 50 в рунете.

Парсить страницы форумов и собирать нужную инфу сложного ничего нет и без RSS

В том то и дело что нужен общий механизм.

По отдельности модули трудностей не представляют. А вот обьединить все это под совместную работу и просчитать размер БД через пару лет ............

D
На сайте с 21.06.2006
Offline
168
#7

Нарисуйте на бумажке DFD или хотя бы work flow.

Может, вы не все написали, а так на первый взгляд задача несложная.

stealthy
На сайте с 15.06.2006
Offline
69
#8

Сама по себе идея странная. Угробите какое-то время на создание автомата отслеживания упоминаний, а потом кто-нить из конкурентов напишет специализированную спамилку (что на порядок проще). И оператор, отслеживающий информацию, зашьется отсматривать левые сообщения.

Товары и услуги нормальные производить нужно. Тогда отвечать на форумах на разноцветный пиар не придется. Люди креветок с ушей давно уже снимать научились.

По технике же - вероятно можно поставить даже какой-нибудь паллиатив типа Teleport PRO с расписанием закачек интересующих сайтов (их действительно не так много) + локальный Google Desktop или Yandex.Каконтам-забыл.

Twilight CMS (http://www.twl.ru): есть Free версия, очень проста и удобна в использовании. Консультирую по любым вопросам. Новый спорт - практическая стрельба (http://nikit.in) - не для офисного планктона.
X
На сайте с 05.10.2005
Offline
140
#9

Очень немногое число сайтов не входят в индекс поисковых систем.

Соответственно относительно достаточно мониторить выдачу + достаточно подписаться на запросы на новотеке и блогах.яндекс.ру, чтобы все оперативно читать.

Юр. услуги для ООО,ИП,СМИ,товарные знаки, Лицензии связи (хостинг,SMS), авторское право Оффшоры,merchant account,карты
Dreammaker
На сайте с 20.04.2006
Offline
570
#10

поговорил я со знакомым, он сейчас и на ближайшее время занят, а на будущее загадывать не хочет...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий