Компания Rambler объявила об изменениях структуры поисковой системы

На Rambler введена в строй новая версия поисковой машины, которая принципиально отличается от предыдущей по двум основным параметрам. Во-первых, значительно увеличилась скорость поиска; во-вторых, появилась возможность оперативного обновления поискового индекса. Если раньше индексная база обновлялась в среднем раз в месяц, то теперь, благодаря новой архитектуре поисковой системы, обновление может происходить каждый день, и даже несколько раз в день. В новой версии индексная база разбита на восемь частей. Семь из них представляют собой поисковые индексы, каждый из которых построен по седьмой части русскоязычного Интернета. Ежедневно обновляется одна из частей индекса. Таким образом, с момента скачивания страницы роботом до ее появления в поиске проходит от 2 до 8 дней. Восьмая часть индекса представляет собой "быструю базу", постороение которой занимает всего два часа. В быструю базу входят страницы, содержащие счетчик Тор100. Каждый раз, когда в рейтинге Тор100 появляется новая страница, которой еще нет в индексе, она отправляется в очередь на обработку. Перед обработкой страницы фильтруются, из них отбираются наиболее посещаемые. В настоящее время быстрая база обновляется два раза в сутки, однако в ближайшее время планируется обновлять ее чаще. Поиск по всем восьми базам осуществляется параллельно, результаты поиска объединяются. За счет этого поиск происходит в несколько раз быстрее по сравнению с поиском по монолитной индексной базе. Каждая из семи частей основной базы размещена на семи серверах. Такое распределение обеспечивает устойчивость и стабильность работы системы при повышении нагрузки или авариях. В подобных случаях из результатов поиска не пропадают соответствующие части индекса, так как поток запросов динамически перенаправляется на наименее нагруженные машины. В результате поисковая система Рамблер содержит актуальную информацию обо всех событиях, представленных в сети. Поэтому если что-то сегодня обсуждалось на страницах Интернета, на следующее утро это можно найти в поисковой базе.