Алгоритм определения тематики сайтов (решение)

kotofeich · 2009-05-20T15:09:33.0000000Z

Привет всем. Наконец сегодня додумал до логического конца алгоритм определения тематики и начал реализацию. Алгоритм построен на теории нейронных сетей, и нужен мне в корыстных целях направленных на яндекс. Ценность алгоритма в том - что это будет первый алгоритм определения тематики сайта, который сможет реализовать почти любой программист. Надеюсь кому-нибудь пригодится. Этап 1: Определение ключевых слов сайта 1) Получаем страницу 2) Убираем теги, и все кроме букв и пробелов. Знаки препинания заменяем на пробелы. (Цифры удалить!!!) 3) Разбиваем весь текст на слова, то есть делаем одномерный массив слов. 4) удаляем слова меньшие 2 букв 4) Каждое слово прогоняем через стеммер. Я использую алгоритм Портера. Для тех кто не в курсе стеммер - это программа которая отбразывает от слова суффиксы и приставки, оставляя корень. Алгоритм Портера слаб, но пока сойдет. Как найду морфологический словарь - сменю на него. 5) При прогоне через стеммер создаем новый ассоциативный массив, где ключом будет само слово, а значением колличество повторений слова. Например (Yandex =>3, Тиц =>5) и т.д. 6) Упорядочиваем ассоциативный массив по убыванию колличества повторений. 7) Удаляем все слова повторяющиеся менее трех раз (колличество под вопросом). 8) В итоге мы получили ключевики сайта с их тошнотой. Обычно их на этом этапе 50-100 штук. 9) Проверяем каждый ключевик по базе общих слов не несущих тематику. Например слова: меня, когда, сколько и т.д. Я храню эти слова в отдельной таблице бд и написал отдельный скрипт, который позволяет их сформировать. Обойдя сотню сайтов мы набираем базу самых популярных не имеющих тематику слов. Этап 2: Создаем тематическую базу 1) Для начала в бд нужно создать три таблицы: слова, тематики и веса. Поля таблиц: Слова: word_id, word Тематики: theme_id, parent_id, theme Веса: word_id, theme_id, ves 2) Заполняем таблицу тематик. Я для этих целей пользуюсь базой Ашманова (где-то 5000 тематик). Не использую ЯК, потому что сайты в него заносятся вручную, то бишь робот тут не причем. В нашем случае необходимо знать тематику, которую видит робот на обычных сайтов. Я не говорю что тематика по Ашманову совпадет с тем что определил робот яндекса, но нам это и не нужно. Представьте что по Ашманову у нас вышло кпк для донора и акцептора, а по яндексу сотовые телефоны.Не все ли равно? 3) Самый трудный момент. Выбираем нужную тему, например интернет-ресуры. Из найденных в первом этапе ключевиков страницы выбираем относящиеся к этой теме, и проставляем им коэффициенты, насколько сильно они относятся к данной теме (балл от 0 до 1). Позже будем корректировать это значение, сейчас это не суть важно. Это значение и будет синаптической силой. В сумме они дадут активацию нейрона к данной тематике. В реальности это дает потрясающие возможности даже для многозначных слов. Например слово лук можно отнести и к кухне и к охоте. Это не повлияет на верность определения. Этот момент трудный, потому что придется обойти множество сайтов, чтобы собрать хотя бы по 10 слов для каждой тематики. На деле десяти слов вполне достаточно. Итого необходимо 50000 слов, чтобы определить тему сайта по Ашманову. Кто-то скажет это много, но в день при нормальной оболочке можно легко собрать тысячу слов. Итого 50 дней пассивного труда. 4) Мы создали семантическое ядро для каждой тематики, и указали с каким весом относится к каждой теме определенное слово. Этап 3: Узнаем тему неизвестных сайтов и корректируем результаты 1) Поскольку мы первоначально как-то обучили программу. Теперь покажу как ей пользоваться. Для неизвестного сайта выполняем этап 1 и узнаем ключевые слова с тошнотой. В результате полученные примерно 30 ключевиков проверяем по базе к каким темам они относятся и какие коэффициенты имеют. Примитивный пример: Текст Лук и стрелы это лук. Лук тошнота 2. Тема охота вес 0.7. Тема кухня вес 0.6. Стрелы тошнота 1. Тема охота вес 0.8. Находим активацию нейрона: К теме охота: 0.7*2+1*0.8=2.2 К теме кухня: 0.6*1=0.6 Поздравляю - тема текста определена. Здесь также можно определить в % насколько текст относится к другим темам. 2) Возможно в прошлом этапе неверно проставлены коэффициенты и их нужно корректировать. Для этого необходим отдельный интерфейс, где выбрав тематику видишь все ключевые слова по ней с их коэффициентами. Изменяя коэффициенты мы усиливаем значение того или иного слова в определенной теме. При анализе множества сайтов мы приходим к стабильному результату. Результат. Данный алгоритм не нуждается в обсуждении его необходимости. Это каждый решает сам для себя. Мне плевать с колокольни если он вам не нужен:) Для тех кто хоть что-то понял о том что я сказал - интересно услышать ваши мысли о его эффективности, и возможностях улучшения. P.S. Данный пост опубликовал у себя в блоге . Надеюсь тут никто не против ссылки, просто не хочу чтобы яндекс посчитал что на этом сайте находится основной текст, а у меня копия. P.P.S. для определения тематики сайта, а не отдельной страницы легко можно брать ключевики с n страниц

54

aresstokrat

21 мая 2009, 13:41

#41

парсинг ЯК здесь не интересен, именно потому что он вручную наполняется, здесь интересен алгоритм именно робота яндекса

покупаю сайты, только СДЛ

Z1

164

zweroboy1

21 мая 2009, 13:54

#42

Насколько я понял, у ТС задача определять тематику любой конкретной страницы, а не понять как работает я.робот.

117

Igorrok

21 мая 2009, 13:55

#43

Но ведь мы никак не узнаем какую тематику присвоил робот сайту, а если программа будет давать те же результаты, что и человек, то это будет хорошая программа.

Истина где-то рядом...

333

XPraptor

21 мая 2009, 14:23

#44

ТС, не понял зачем вам определение самих тематик, как таковых? Я вот уже пару лет гоняю свой алгоритм, который берет мою страницу, нейроном определяет её темаический вес, а потом берет все отобранные страницы доноров, где я хочу купить ссылку и определяет на сколько они близки к тематике моей страницы (в частном случае тематике моего сайта в целом).

И не зачем мне хранить тучу данных в БД чтобы определить тематику которая мне "нафик" не нужна.

Ну это ИМХО, а если вам всетаки понадобилась зачем то база тематик, то ээто только вам известно зачем.

Rookee запускает новый алгоритм SEO: почему мы делаем Александр Садовский на конференции

28

kotofeich

21 мая 2009, 17:14

#45

sun99:
Возможно Вам стоит использовать то, чем пользуются (пользовались) в Яндексе.

mystem

Спасибо. Не знал.

kotofeich добавил 21.05.2009 в 21:19

Igorrok:
Но ведь мы никак не узнаем какую тематику присвоил робот сайту, а если программа будет давать те же результаты, что и человек, то это будет хорошая программа.

Человек помещая сайт в як дает тематику, в дальнейшем она может поменяться. Сомневаюсь что робот яндекса определит тематику аналогично админу яка.

kotofeich добавил 21.05.2009 в 21:20

XPraptor:
ТС, не понял зачем вам определение самих тематик, как таковых? Я вот уже пару лет гоняю свой алгоритм, который берет мою страницу, нейроном определяет её темаический вес, а потом берет все отобранные страницы доноров, где я хочу купить ссылку и определяет на сколько они близки к тематике моей страницы (в частном случае тематике моего сайта в целом).
И не зачем мне хранить тучу данных в БД чтобы определить тематику которая мне "нафик" не нужна.
Ну это ИМХО, а если вам всетаки понадобилась зачем то база тематик, то ээто только вам известно зачем.

Фактически все пока не нужны. Сейчас обкатываю только на нужных мне тематиках.

Expert Theme (http://extheme.ru) - определение тематики любых сайтов, текстов и страниц

Скрипт определения тематики (тестируем) Трастовость яндекса существует! Прогоняю сайты по лучшим

SJ

78

sokol_jack

21 мая 2009, 17:25

#46

zweroboy1:
Как вариант более-менее быстрого получения словаря с привязкой к тематике -
1. Парсинг ЯК (либо какого-то другого качественного каталога), создание базы вида УРЛ - тематика.
2. Заход робота на морду каждого из этих сайтов. Парсинг. В базу сохраняем все слова, кроме анкоров внешних ссылок. Словам из титлов, стронгов, мета-дескрипшнов придаём несколько больший вес. После прохождения этого шага имеем базу вида: Слово - Сайт - Число вхождений (Вес) - Тематика.
3. Анализ полученной базы. Делим все слова из базы на три категории:
3.1. Стоп-слова - они часто появляются во всех без исключения тематиках.
3.2. Средние слова - они часто встречаются в одной категории, но иногда попадаются и в других.
3.3. Хорошие слова - часто встречаются в какой-то конкретной рубрике, и практически не встречаются - в других.
4. Заходим на неизвестную страницу, опять же парсим её, анализируем найденные слова. В первую очередь обращаем внимание на хорошие слова из пункта 3.3. Думаю, этого будет достаточно в подавляющем большинстве случаев для правильного определения тематики.

В общем-то, реализуется такое за недельку без особого напряга одним челом.
Плюсы - не надо заморачиваться с морфологией и составлением базы вручную.
Алгоритм ТС будет скорей всего точнее этого, но он имеет большие шансы загнуться на стадии составления словаря с весами :)

Мысли очень правильные 🍻

Замечу только:

- морфология таки нужна - я все привожу к нормальной форме (тогда и совпадений больше). Можно простым стеммингом побаловаться.

- на ЯК хорошие результаты у меня дает даже просто парсинг каталога (тайтл + описание), без заходов на главную страницу и т.д. Тайтл с двойным коэф.

sokol_jack добавил 21.05.2009 в 21:27

kotofeich:
Человек помещая сайт в як дает тематику, в дальнейшем она может поменяться. Сомневаюсь что робот яндекса определит тематику аналогично админу яка.

А я - почти уверен.

Потому как те, кто оценивают работу робота ("ассесоры") и те, кто в ЯКе размещает мыслят почти одинаково (как и мы с вами).

Да и "эталонная" база у робота - почему бы и не ЯК?

Любимый хостинг (http://beget.ru?id=2902) How can we grow old when the soundtrack of our lives is rock-n-roll?

Каталоги - зачем они Бесплатно!!! Программа для массового Ключевик в названии сайта.

28

kotofeich

21 мая 2009, 17:38

#47

sokol_jack добавил 21.05.2009 в 21:27

А я - почти уверен.
Потому как те, кто оценивают работу робота ("ассесоры") и те, кто в ЯКе размещает мыслят почти одинаково (как и мы с вами).
Да и "эталонная" база у робота - почему бы и не ЯК?

Можно использовать и ЯК, суть моего алгоритма от этого не меняется. Я использую ашманова, потому что сразу вижу какие ключевики какой тематике соответствуют.

kotofeich добавил 21.05.2009 в 23:33

P.S. Скрипт уже реализован. Сейчас хорошо распознает три тематики: Интернет-ресурсы, Создание и продвижение сайтов, Поисковые системы. Обучение новой тематике занимает где-то 10 минут.

Wizard.Sape представил обновленную форму Google не советует закрывать Googlebot не распознает весь

693

dlyanachalas

3 июня 2009, 08:42

#48

kotofeich:
Находим активацию нейрона:
К теме охота: 0.7*2+1*0.8=2.2
К теме кухня: 0.6*1=0.6

Вы нашли не "активацию нейрона", а просто сумму весов.

Если вы действительно изучали нейронные сети, то должны понимать разницу ;)

497

OPTIMER

4 июня 2009, 17:15

#49

Что-то я не понял, зачем смешивать тематику страницы и сайта. Это разные вещи. Определяются по-разному. Есть алгоритмы, например уже заезженный показ тематической рекламы адсенс, директ. Есть тематика сайта по Я.К и так далее. Я думаю, что да, можно группу страниц одинаково идентифицировать одного сайта. Но может и проще это делается (тематика сайта, если она и существует), что нету такого подсчета тошноты слов тематики и т.п.

оО Раскрутка сайтов без абон. платы, единоразово от 100.000 руб.

Яндекс.Вебмастер обновил алгоритм подбора Google может отдельно оценивать Яндекс Директ добавил новый

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Все что нужно знать о DDоS-атаках грамотному менеджеру