www.aot.ru - ну определяет части речи, ну и что? какое отношение это имеет к поиску?
vitali_y добавил 26.10.2010 в 15:51
GBall, что вы будете делать (т.е. что будет делать ваша интеллектуальная поисковая система) если в качестве запроса я введу "trejbngfek dnfvdnfwjknre rkjenrfevf"? какая тут морфология?
ну и в строну так называемого "граля" т.е. святого семантического анализа я бы не смотрел...
пока это все из разряда искусственного интеллекта - нет тут интеллекта.
так и семантический анализ не применим для поиска - тут нет ясной математической модели - есть лишь философские рассуждения инженеров не получивших достаточного математического образования, которые вместе с лингвистами (людьми далекими от точных наук) пытаются что-то построить на протяжении лет - насколько я знаю их попытки на практике безуспешны.
хотя финансирование под их бредовые идеи им иногда удается получить - поскольку для людей далеких это может звучать достаточно перспективно.
я бы сказал так - морфологический анализатор писать не стоит. моя точка зрения основана на чистой интуиции и некотором опыте написания поисковой системы.
пока не видел разумного математического обоснования зачем он нужен.
хотя в соответствии с темой вашей работы - можете провести анализ и доказать не нужность морфологического анализа...
т.е. моя точка зрения такая - то что вводит пользователь при поиске предварительно обрабатывать не нужно - можно лишь давать пользователю подсказки (контекстные подсказки).
имеет какай-то смысл как-то обрабатывать информацию перед индексированием - типа классифицировать, разбить на кластеры и т.д. и т.п.
ну почему же с нулевой ценностью... по вами приведенной ссылке есть там понятие нормализации к примеру, ASCII символы, использование одного регистра для букв. Да про n-граммы я не упомянул и про оценку... ну я докторских по теме не защищал - так кулибин - извиняй.
тут как раз есть топик по литературе - я там линк на книжку кинул - если интересно тему дальше копать - "поворушите" данный форум - в архиве много чего интересного.
а конкретно про ваш вопрос - чего тут читать то :) достаточно просто самому попытаться написать поисковик (с индексацией либо без) - немножко подумать как google ищет так быстро и на подобные темы... конечно мой предыдущий ответ сводит все к тривиальному отбрасыванию ненужной информации, которая если развивать задачу дальше - может оказаться нужной... ну тут я не помогу - все рассписывать не хочу - как я бы делал... да и книжка "Введение в информационный поиск" - думаю много чего расскажет лучше - сам хочу почитать, полистать.
Введение в информационный поиск
Кристофер Д. Маннинг, Прабхакар Рагхаван, Хайнрих Шютце
http://www.williamspublishing.com/Books/978-5-8459-1623-5.html
вроде как must have - пока не читал, но куплю.
конечно есть какие-то алгоритмы - притом тривиальные. в вашем конкретном примере все 3 варианта:
"Dainkin FTXS25G RXS25G" -
можно привести к такому виду как при индексировании, так и при поиске.
о как все поменялось! зашел - глянул - удивился, а то была прям помойка какая-то...
вы уж проводите такую уборку иногда... 🤪
:) на свете миллиардов 6 человек - ты вряд ли знаком с 1%
какое отношение данный топик имеет к разделу "Поисковые технологии"?
