Алгоритм определения тематики сайтов (решение)

В планах определять оба параметра. Потому что мы часто покупаем статьи и в их тематике мало сомневаемся, а вот в тематике сайта..

К примеру есть тематики "дом и дача" и "строительство". После отработки алгоритма получаем основные ключевики - "строильство", "дача" (в контексте "строительство дачи"). Вопрос - к какой тематике отнесет такой сайт алгоритм?

Интересно потому, что у меня есть сайт, который я сам затрудняюсь к какой-либо тематике окончательно отнести.

FladeX добавил 20.05.2009 в 20:48

ЗЫ. Тема интересная, не слушайте некоторых и не закрывайте топик ;)

Одной головы достаточно для реализации алгоритма, но не для составления семантического ядра.

Перспективы - это дополнительный опыт в понимании и дальнейшего совершенствования алгоритмов "антияндекс". Думаю даже такой алгоритм будет лучше чем брать ссылки для сайта про недвижимость со страницы с текстом про фитнесс с сайта про недвижимость.

Тицекрутители меня не волнуют.

kotofeich добавил 20.05.2009 в 20:59

Это легко обьяснить. Если это сайт про фарму, то большинство слов будут про таблетки, и медикаменты, а меньшая часть про грузоперевозки и логистику (скорее всего это доставка медикаментов). Ошибки быть не должно. Я сомневаюсь что сайт про фарму будет везде расписывать про то как они прекрасно доставляют свой товар и какая у них логистика.

kotofeich добавил 20.05.2009 в 21:03

Это будет зависить от коэффициентов сопутствующих слов. В реальности нужно будет найти несколько сайтов, которые вы точно знаете что относятся к дачам и поставить коэффициенты веса слов так, чтобы тема определилась как дача. Аналогично для строительства.

В результате вы узнаете свою тематику.

В пример беру лишь несколько сайтов, поскольку обычному "смертному" не даны мощностя яндекса, и для реализации алгоритма достаточно пары проб.

Закрывать не собираюсь, пока не набежит народ, которым охото поржать над любой темой. Тогда точно будет ясно что обсуждать больше нечего.

Могу посоветовать phpMorphy (описание).

спасибо. обязательно ознакомлюсь.

Существуют уже готовые системы (алгоритмы) для классификации (кластеризации) текстов. Я бы на вашем месте изучил то что уже (давно) сделано в этом направлении, и только потом, оценив достоинства/недостатки существующих алгоримов и готовых программных средств, начал бы сочинять свой.

Почему вы не используете байесовский классификатор ?

Недостатков в вашем алгоритме хоть отбавляй. Начиная с однословности (надо использовать как минимум 2) и заканчивая ручной простановкой коэффициентов (бррррр....).

p.s. как например ваш алгорит классифицирует этот кусок текста?

Пожалуйста покажите описание подобного алгоритма. Буду очень благодарен.

Для его построения требуется выборка, содержащая все возможные комбинации переменных - а размер такой выборки экспоненциально растет с ростом числа переменных (т.н. "проклятие размерности").

Есть решение как с минимальными затратами обойти однословность? Я видел лишь теории, которые нереально реализовать на практике. Мне и сотни лет не хватит чтобы просчитать подобные алгоритмы для многословности.

Насчет простановки коэффициентов - нельзя ждать от машины результатов, пока сам не научишь ее тому чего хочешь.

Зачем задавать подобный вопрос машине, если человек не сможет дать на него ответ? Ваш текст мал. Дайте полный текст в страниц 10 хотя бы, и его можно будет классифицировать. Тут же почти нет повторений, и тематика была бы "цветы"

Да и вобще - все вокруг дураки, а котяра - весь в белом ;) 😂

Конечно, с топиком на форуме сапы вы ознакомились и там "все не правильно", да?

http://forum.sape.ru/showthread.php?t=30235

🍻

да, ознакомился недельку назад. Принял к сведению, но имхо там мысли от людей далеких от программирования. Они выдвигали теории, которые слабы в реализации.

в гугле наберите "text classification algorithm" и изучите первые штук 500 результатов.

p.s. не говоря уж о том, что существуют еще всякие библиотеки и там есть реферативные журналы.