Разработка тематической поисковой системы

где то здесь Evg бродил....

Человек имеющий опыт, сразу обратит внимание на НЕ РЕАЛЬНЫЕ сроки для разработки такого проекта с нуля, практически в одиночку. Или вы хотите перекупить человека с уже имеющимся кодом ? Тогда, предложение надо ставить несколько иначе.

Господа, а можно такой вопрос - а с чего вообще должна начинаться разработка тематической поисковой системы?

ну скажем имеется тематика, имеется набор веб-ресурсов, которые следует индексировать. Ссылки на них можно получить различными способами, из разных там каталогов, страниц... сразу вопросы - как их отбирать, как их индексировать, как кластеризовать и т.п.? Как поиск осуществлять

кто нибудь может рассказать или будет так любезен - даст ссылочки, почитать? или может есть ссылочки на подобные тематические системы (интересует коненчо не музыка и фильмы)... а скажем поиск по определенной научной дисциплине?

Как я понимаю, тематическая поисковая система — поисковая система с ограниченным списком сайтов для индексации. Соответственно, основным ограничением для отбора списка служит тематика сайта. Никаких других особенностей я не вижу.

Пример тематического поисковика - www.xfiles.ru

Есть собственно полноценный поиск, и есть каталог: http://213.33.170.93/cgi-bin/ai/www/list_urls.pl

Самый простой способ начать — сделать мета поисковик, получающий XML выдачу от Яндекса. 200 запросов в день — бесплатно, ну а дальше — видно будет.

ну если мета, то не один яндекс нужен... я так понимаю? гугль тогда надо подключать, или кого то еще? у них тоже есть бесплатные API?

Могу рассказать, как мы создавали новостной поисковик Новотека .

Поэтапно:

1) Разработка концепции - общая философия работы системы. Здесь же рассматривали все сервисы, которые будут интересны пользователям, включая коммерческие.

2) Разработка алгоритмов итеративного обхода сайтов. Так как поисковик новостной, большинство сайтов нужно обходить едва ли не каждую минуту, при этом не нагружая сервера с электронными СМИ.

3) Изучение алгоритмов извлечения атрибутов новостей (заголовок, дата, текст) с HTML-страниц и шаблонизация сайтов.

4) Подбор новостных ресурсов для индексации.

5) Разработка системы сбора информации и шаблонизатора, запуск пилотного спайдера.

6) Разработка поискового движка и поискового интерфейса.

7) Изучение алгоритмов кластеризации новостей и создание собственного.

8) Разработка пилотной версии кластеризатора.

9) Разработка основного интерфейса Новотеки.

Примерно так.

Вячеслав, спасибо! очень ценная информация. А вы не публиковали статей по своей системе? очень интересно было бы познакомиться поближе в частности со сбором новостей....

Нет, пока не планировал, да и времени на это особенно нет. К тому же, я уже отошел от этого проекта, и думаю, что Ашманов не будет в особом восторге, если я начну раскрывать алгоритмы. :)

Не буду коментировать применение слова поисковая система к каталогу новостей http://www.novoteka.ru/... Заранее говорю я не принижаю достоинства данного каталога. Но большинство описаных вами этапов это непринципиальные моменты. И возможно как следствие этого слабая релевантность серпа.

Почему вы упускаете анализ серверных платформ и используемого ПО, алгоритмы спайдеров (чуть-чуть затронуто), организацию хранения данных, подсчета релевантности и т.п. вот это важно.

А кластеризация новостей :) - три сотрудника в две смены или использование готовых категорий Рамблера, Яндекса и т.п. А выделение дизайна в отдельную задачу :) 1000$ Артему и забыли.

Как бы то ни было, это именно поисковик - со сфокусированными спайдерами и прочими примочками. RSS используется, но для получения новостей с очень небольшого количества сайтов.

Это все относится к поисковому ядру, о чем я и упомянул. ;)

Все намного сложнее, чем кажется. Кластеризация новостей проводится автоматически для десятков тысяч рубрик - смотрите сайт.