Форум Практика оптимизации Поисковые технологии

Open source поисковые технологии

Альтена-Хост · 2020-07-28T15:09:28.0000000Z

Так получилось, что в разделе про Яндекс ( /ru/forum/847329 ) участники форума заинтересовались вопросом, а как же поиск работает изнутри? Предлагаю продолжить здесь, т.к. этот раздел больше соответствует теме дискуссии. Я очень заинтересован в поиске единомышленников по развитию open source поисковых технологий применительно к ранжированию web (не глобального, но относительно большого объема). Буду очень рад познакомиться с единомышленниками хорошо знающими Java. И откровенно буду счастлив познакомиться с единомышленниками, способными без напряжения переписать Java-код на С (мечта всей жизни). ---------- Добавлено 26.04.2014 в 01:13 ---------- Пока читал форум, вернулся в тему и удивился кол-ву просмотров и отсутствию ответов. Просто напишу для затравки. Как устроен поиск. 1. Crawler Сам паук, собирающий информацию + база ссылочных апдейтов (в том числе и база ссылок по которым ходить дальше). База должна учитывать как часто нужно обходить документы повторно, насколько агрессивно можно парсить тот или иной сайт и где (robots.txt). Паук должен понимать как часто нужно (можно) "вливать" данные в поисковик. Ну и, конечно же, уметь стрипить html (или другое, если не web) из документов. 2. Search Поиск должен уметь апдейтить индекс (уже писал, что есть разные методы). Должен уметь ранжировать документы. При этом есть разные ранкеры (tf/idf, BM25(A)) etc.) А еще все к нему пытаются прикрутить разное: -Фильтры. -Морфологию. -Семантику. -И дальше, по-вкусу... Есть еще пресловутое ссылочное ранжирование (Если точнее, ссылочный граф). Ранжировать много почти одинаковых документов без него тяжело, мучительно тяжело... Просто не хватает факторов. Кац (именно так) уже отказался, Садовский пробует (маркетинг?). Поживем - увидим, но к поиску это отношения не имеет. Это маркетинг чистой воды. ---------- Добавлено 26.04.2014 в 01:33 ---------- Как все реализуется на практике (особенно при поиске по web)? Web, как факт, в наше время очень большой, т.е. - big data. Для обработки таких объемов данных производительности i-того сервера явно недостаточно. Нужна кластеризация, т.е. параллельные вычисления. Поэтому была разработана технология MapReduse . В той или иной реализации ее используют все поисковые системы. Если искать аналог в open souce, то это будет Hadoop . Для хранения базы скаченных web-документов Google использует BigTable (аналог в open source - Hbase , кстати, ее использует в своем поиске mail.ru), Яндекс использует свое проприетарное решение. Если интересно, могу продолжить. Задавайте вопросы.

mibuso

11 мая 2014, 07:33

#21

Альтена-Хост:

Есть ли у кого-то возможность (желание) поделиться наработками в этом направлении?

А вот товарищ делится своим многолетним опытом разработки - http://habrahabr.ru/post/123671/

Что можете сказать про его подход?

any2you

12 мая 2014, 12:34

#22

Альтена-Хост:
Ну про Питон это сильно. Одно дело, когда надо "быстренько" наваять 20 строчек кода (в Яндекс очень любят), совсем другое - когда эти 20 строчек должны быстро работать.

вы считаете, что питон малопроизводителен в этом плане ?

Все что нужно знать о DDоS-атаках грамотному менеджеру

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах

Open source поисковые технологии