Женя, уже есть темы докладов?
lagif, помнится, где-то в сентябре вы обещали презентовать собственную разработку - что-то вроде украинского полнотекстового поисковика.
Где можно посмотреть?
Могу рассказать, как мы создавали новостной поисковик Новотека .
Поэтапно:
1) Разработка концепции - общая философия работы системы. Здесь же рассматривали все сервисы, которые будут интересны пользователям, включая коммерческие.
2) Разработка алгоритмов итеративного обхода сайтов. Так как поисковик новостной, большинство сайтов нужно обходить едва ли не каждую минуту, при этом не нагружая сервера с электронными СМИ.
3) Изучение алгоритмов извлечения атрибутов новостей (заголовок, дата, текст) с HTML-страниц и шаблонизация сайтов.
4) Подбор новостных ресурсов для индексации.
5) Разработка системы сбора информации и шаблонизатора, запуск пилотного спайдера.
6) Разработка поискового движка и поискового интерфейса.
7) Изучение алгоритмов кластеризации новостей и создание собственного.
8) Разработка пилотной версии кластеризатора.
9) Разработка основного интерфейса Новотеки.
Примерно так.
statev, а не проще ли взять какой-либо из готовых продуктов? Или Ваш поисковик будет специализированным?
Видели. Переношу топик.
Весьма сомнительное утверждение - сейчас первая страница перестала давать трафик популярным ресурсам. К тому же, сайт из-за слоев нормально не открывается в броузерах вроде Conqueror.
Это случаем не реинкарнация UaPlus?
А причем здесь поисковые технологии? Переношу топик.
Воспринял именно так, как я написал, то есть работает частично. :)
Пока не нашел причину.
Да, я уже в курсе. Поиск адекватно не воспринял замену ОС на сервере с Linux на FreeBSD.
