Существует ли рабочий сервис определения тематики сайта (вне ЯКа)

Если бы еще была одна общая классификация по тематикам...

Согласен. Но имхо, каждый раз с новыми алгоритмами все больше и больше уходит внимание тематическим ссылкам, имхо хотя бы программы с большими погрешностями, которая определяла. Вот Вам тема программисты;)

Дык а что там за "тема" для нас, программистов?

Если есть набор тематик и сайтов, которые в них попадают, то за день пишется софт.

Например, для ЯК вполне хватает собрать описания сайтов из каталога и построить для слов, которые в них входят вектора "попадения в тематику". Даже не обязательно анализировать тексты на главной.

Потом любой текст берем, на слова бьем, считаем результатирующий вектор причастности к тематике. Вполне хорошие результаты.

а если вот так делать, берем сайт, копируем весь код главной страницы, запихиваем его Decorator 3.00 удалем весь html код, оставшийся текст вставляем в анализатор текста Text analyzer и уже по результатам количества часто употребляющихся слов определяем тематику сайта. ))) ну это пример если сайтов парочка.

Есть мысли как это на деле реализовать?

Все просто :)

1. Пишите парсилку сайтов yaca, собираете тематики и сниппеты/главные сайтов в них.

2. Обучаете ваш рубрикатор. Например, определяете вероятность встреч тех или иных слов в тематике. Это проще всего. Попутно детали (типа необходимости учета стоп-слов) увидите сами.

3. Делаете функцию определения вероятности тематики для произвольного текста.

4. Тестите и дорабатываете вашу методику пока не будет вас устраивать.

Еще одна интересная версия.

Так можно и Ли.ру по категория спарсить и получить базу кеев по тематикам) или купить готовые.

Тут собственно хозяин-барин. Главное чтобы был каталог и обучающая выборка достаточного объема. Можно и по Dmoz рубрикатор сделать.

Пожалуй, сварганю. Благо, и библиотека для работы с ключевиками и вероятностями их появления с прошлых наработок есть. Посмотрим, что получится.

Предполагается возможность ввода списка url-ов, задания требуемой тематики и отсеивания url-ов заданной тематики. Предполагается также выбор между определением тематики страницы и определением тематики сайта по нескольким страницам.

Способов определения тематики будет 2.

А распарсим для начала yaca.

autosubmit добавил 24.02.2010 в 15:34

Приступил. Составил минимальный список тематик.

Зарегистрировал тестовый поддомен. Перенёс туда "болванку" с библиотеками.

Приступил к написанию парсера yaca.

autosubmit добавил 24.02.2010 в 17:11

Парсер yaca вместе с загрузкой страниц сайтов, работой со словами и сохранением данных готов. Теперь надо его отладить...

autosubmit добавил 24.02.2010 в 17:40

Приступаю к отладке парсера yaca.

autosubmit добавил 24.02.2010 в 18:25

из-за проблем с интернетом (пакеты не доходят до хостинга) придётся продолжить позже.

Все это давно есть ;)

Но удовлетворенноть, увы.

Во-первых у серьезных сайтов часто на главной нет текста основного.

Во-вторых, тематика есть как у сайта, так и у страницы отдельно (и есть версия, что яндекс следит за тематикой именно страницы, ну и связь страницы страницы с сайтом).

В-третьих, если по телу страницы у вас тематика - животноводство, а Тайтл и Дискрипшн и Кейвордс утверждают, что вы - недвижимость, отдавать предпочтения мета-тегам или телу?

Ну и опять же, как было сказано выше - структура рубрик у всех разная...

Но нереальных задач, конечно, нет ;)