Яндекс и ядро

Записи всех типов

сегодня, 28 июля 2009 года, вторник Обновление оборудования на MegaIndex сегодня, 22:28

Популярность проекта и растущие объёмы информации сделали своё. Последние 2 месяца нагрузка на старый фронт-сервер MegaIndex стабильно держалась на уровне 100%. Теперь мы успешно решили эту проблему. Производительность нового фронт-сервера в 15 раз выше, что позволит нам обрабатывать большие объемы информации и предоставлять данные более оперативно.

Также был сильно оптимизирован процесс обработки страниц на индексирующих серверах. Уже совсем скоро на MegaIndex появятся более полные и свежие данные индексаторов, которые теперь будут обновлять на регулярной основе. Новые версии базы будут выгружаться 2 раза в неделю. (Текущая актуальность базы - 7 июля 2009 г.)

В настоящий момент мы индексирует 3 100 000 доменов. Диапазон времени переиндексации доменов от 7 до 24 дней.

К сожалению, технически мы не имеем возможности давать доступ к рабочей базе индексатора. И данная проблема связана с тем, что скорость работы даже самых быстрых винчестеров очень низка. Для генерации отчетов по входящим и исходящим ссылкам мы используем быстрые SSD-накопители, которые имеют в 10-100 раз меньшее время доступа к данным, чем обычные жесткие диски. Как раз синхронизация с этими накопителями и будет производиться 2 раза в неделю.

В настоящий момент мы сканируем поисковую выдачу по 310 000 запросам. Это уже достаточно много, однако останавливаться мы на этом не будем. В настоящий момент мы собрали и обрабатываем базу всех популярных поисковых запросов. Таких мы нашли более 4 000 000 штук. Мы разработали уникальный алгоритм, который позволяет отделять реальные поисковые запросы от спама поисковой статистики. Кроме того все поисковые запросы уже тематизированы, что позволит получить наиболее полное семантическое ядро для любого сайта.