- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
да, ознакомился недельку назад. Принял к сведению, но имхо там мысли от людей далеких от программирования. Они выдвигали теории, которые слабы в реализации.
Точно-точно. :D
Там пару человек которые "не очень далеки от программирования" (причем не только написания на коленке пхп-скриптиков простых) писали о уже готовых системах. 🍻
Бурундук не зря писал, что сортировать надо не по TF, а хотя бы по TF*IDF для отбрасывания лишних слов :)
alexalinks, а что берём в качестве коллекции при расчёте IDF? Яндекс-то текстовым корпусом пока не поделился. :)
Бурундук не зря писал, что сортировать надо не по TF, а хотя бы по TF*IDF для отбрасывания лишних слов :)
для TF*IDF нужно большуую базу иметь, чего к сожалнию не имею.
Яндекс-то текстовым корпусом пока не поделился
есть готовый ресурс :)
удалил по многочисленным просьбам :)
burunduk, сотри уж. Кому надо - те знают. ;)
Я что-то не видел, кстати, чтобы этот корпус можно было скачать. :) Для оффлайн, так сказать, анализа.
Беобахтер, ну можно же просто изнасиловать роботами в извращенной форме :)
burunduk, в промышленных масштабах - гиблое дело. Хилую тему ограбить - куда ни шло. Проще с серпа спарсить.
P.S. оперативно сработал. ;)
4) Каждое слово прогоняем через стеммер. Я использую алгоритм Портера. Для тех кто не в курсе стеммер - это программа которая отбразывает от слова суффиксы и приставки, оставляя корень. Алгоритм Портера слаб, но пока сойдет. Как найду морфологический словарь - сменю на него.
Возможно Вам стоит использовать то, чем пользуются (пользовались) в Яндексе.
mystem
Как вариант более-менее быстрого получения словаря с привязкой к тематике -
1. Парсинг ЯК (либо какого-то другого качественного каталога), создание базы вида УРЛ - тематика.
2. Заход робота на морду каждого из этих сайтов. Парсинг. В базу сохраняем все слова, кроме анкоров внешних ссылок. Словам из титлов, стронгов, мета-дескрипшнов придаём несколько больший вес. После прохождения этого шага имеем базу вида: Слово - Сайт - Число вхождений (Вес) - Тематика.
3. Анализ полученной базы. Делим все слова из базы на три категории:
3.1. Стоп-слова - они часто появляются во всех без исключения тематиках.
3.2. Средние слова - они часто встречаются в одной категории, но иногда попадаются и в других.
3.3. Хорошие слова - часто встречаются в какой-то конкретной рубрике, и практически не встречаются - в других.
4. Заходим на неизвестную страницу, опять же парсим её, анализируем найденные слова. В первую очередь обращаем внимание на хорошие слова из пункта 3.3. Думаю, этого будет достаточно в подавляющем большинстве случаев для правильного определения тематики.
В общем-то, реализуется такое за недельку без особого напряга одним челом.
Плюсы - не надо заморачиваться с морфологией и составлением базы вручную.
Алгоритм ТС будет скорей всего точнее этого, но он имеет большие шансы загнуться на стадии составления словаря с весами :)