Определение тематики текста

Telegranimonic, тыренных?)

Если файлы уже есть, то сортировка их это уже малое дело, но у вас это не так :)

Выборку. Людьми надо будет делать, видимо.

Вам нужно что-то типа "семантического зеркала".

VB. =) Алгоритм прост:

• Разбиваем все слова по пробелам в массив
• определяем словоформы (что бы не изобретать велосипед можно воспользоваться mystem)
• Подсчитываем количество вхождения для каждого слова с учётом словоформ (в двумерный массив: слово, частота)
• Сортируем полученный массив по частотности.
• Убираем минус-слова.
• Из "верхушки" полученного массива определяем тематику

Kost, прикольно это "зеркало" определило тематику сайта МТС (mts.ru)

Думаю, что если делать людьми, то нужна армия китайцев или машина времени, так как даже разархивирование этих статей занимает большое время. Например за 4 часа распаковалось только 1,5 млн. статей на машине Dual Opteron 265.

Вчера давал запрос Ашманову на стоимость этого скрипта, пока нет ответа.

Мне кажется, что алгоритм не плохой. Он был бы полезен именно в моем случае, если ему подсунуть чистую статью. А тематику web-страниц он плохо определяет, потому что жрёт абсолютно все слова на странице включая менюшки, сайдбары и футеры. Цены бы ему не было, если бы он был поинтеллектуальнее в плане разбора кода страницы на основной текст и на всё остальное.

На сколько я понимаю готовых решений в природе не существует. Придется киркой работать.

Хочется рассортировать по какому-то своему специфическому списку тем или просто по универсальным темам типа "Здоровье", "Автомобили", "Образование" и т. д.? Во втором случае, действительно, может подойти что-то вроде "Семантического зеркала". В первом - придется позаниматься машинным обучением.

Хочется раскидать по универсальным темам, как в Яндекс-каталоге.

Хм. А можно подробнее раскрыть этот пункт алгоритма? ;) Как именно на основании верхушки Вы предлагаете определять тему?

Если географические рубрики не брать, то выдается только "Мобильная связь". Все правильно, вроде как.

А куча географических там понятно, из-за чего - из-за выпадающего списка "Регион".

AnyOf добавил 02.08.2010 в 21:10

А, да, вот еще, для полноты картины:

http://keva.ru/docThema.html

http://www.linkfeedator.ru/index.php?task=tematika

Но там с сайтом МТС дела обстоят похуже, чем у "Семантического зеркала".

Ну это кому насколько воображения хватит. Самый простой способ взять 2-а верхних слова =)

ДЫК он же взял. И неважно, что они там в LI и т.п... важно, что результат скрипт вернул ошибочный.

Относительно недавно были эксперименты над тематическим фильтром.

/ru/forum/474938;highlight=cfilter.ru

В принципе интересно, но у меня чистая страница про смерть и войну определилась как юмор.

Жалко, что не доработано, да ещё и платно.

Если мне нужно проверить 1 000 000 страниц, то придется заплатить 1000 WMZ. :(

В теории, способ прост, да :) Но на практике там придется столкнуться с кучей проблем. Что и так понятно, впрочем :)

Ошибочный - это слишком сильно сказано. Я бы сказал "недостаточно точный". Все-таки правильная рубрика была определена, а вот такие случаи с географией можно постобработать, если они действительно мешают.

AnyOf добавил 02.08.2010 в 21:53

Т. е. на странице были просто слова "смерть" и "война"?

Если б нормальное качество, то еще туда-сюда. Подозреваю, что "Семантическое зеркало"-то подороже выйдет, хотя точно не знаю, врать не буду.