Первый терабайт. Да здравствует Яндекс!

В Яндексе пишут, что этот пресловутый рубеж они перешли 5 марта.

И тут же (только что заметил):

Пир во время чумы

Алексей

Вячеслав, а Вы знаете примеры _работающей_ технологии, подобной описанной Вами? Не поделитесь ссылкой?

С уважением,

Илья

http://vivisimo.com ,например

То есть вы хотите сказать, что vivisimo часть запросов шлет на альтависту, а часть на fast?

Такого эффекта не наблюдал

Ну Вы же просили ссылку на ПОДОБНУЮ технологию.

Или технология vivisimo собирает кластера недостаточно хорошо, чтобы можно было организовать маршрутизацию запросов?

Мы на Вас никаих обид не держим, честно говоря. Да и вообще, Яндекс не практикует отсечение конкретных пользователей от форумов. В принципе. Это противоречит нашей политике.

В какой-то момент при завершении форума, то есть при закрытии его на запись, он очень недолго выдавал 403. Почти сразу же после этого был открыт архив форума. Эффект был заметен буквально несколько минут.

Илья

[This message has been edited by iseg (edited 13-03-2002).]

Я все-таки не понял о каких компонентах метапоисковой технологии из вашего письма

идет речь в случае с vivsimo? Где можно почитать о реализации метапоиска в vivsimo?

С уважением,

Илья

vivisimo я привел как пример удачной системы кластеризации. Как они умудряются на ходу собирать эти кластеры, с центроидами или без, неизвестно, да и не суть важно. Не важно даже, кластеры собираются на полнотекстовом поиске или метапоиске.

Насколько я понимаю, с кластерной технологией можно не только организовать query routing, но и отслеживать самые обновляющиеся документы внутри одной СТРУКТУРИРОВАННОЙ коллекции и тем самым эффективно эту коллекцию обновлять. Кроме этого, похоже, можно неплохо отслеживать "похожие" документы, которые будут лежать рядом.

Видимо, сейчас в Яндексе из семантики максимум используется смартовская "функция косинуса" для нахождения похожих документов?

Однако, похоже Яндекс отступил назад за терабайтную отметку:

Сейчас Яндекс заявляет

следующее:

Рунет сегодня
Количество уникальных серверов: 480 875
Количество уникальных документов: 58 703 769
Объем проиндексированной информации: 957,61 Гб

Интересно, в чем дело:

а) Глюк?

б) Объем Рунета действительно уменьшился?

в) Яндекс активно чистит базу, пополняя бан-лист?

г) А может, терабайта-то и не было? ;)

Агрессивная чистка похожих (до 7% отличий) документов. Не волнуйтесь - мы быстро вырастем.