В каком виде выводились найденые результаты ? В частности, строились ли цитаты найденых документов по словам из запроса ?
Например, утянуть по инету...
Регистрируйтесь на TREC2006, там есть Terrabyte track, - получите раза в два больше инфы, заодно с зубрами IR поряетесь, если не страшно :)
не впечатлил, судя по всему морфологии нет...
Поднялся на две позиции...
А нафига ? По-моему, множество их нативнорусскоговорящих девелоперов непусто :p
Возможно на позиции влияет не только апдейт, но и включение "умной" поддержки русской морфологии на google.ru...
См. http://notes.sochi.org.ru/558/
По-моему, реализовано много умнее, чем у Яндекса, во всяком случае показывает меньше мусорных слов. :)
Если crawler написан правильно, то у вас раньше исчерпается канал или же вы достигните максимума скорости записи на диск, нежели доведёте загрузку процессора до 100%, поэтому при построении планировщика лучше закладываться на задаваемые лимиты скорости канала и скорости записи на диск.
Забываете о знаке ! в имени: Yahoo!, что очевидно переводится как Бля-а! (если отстраниться от налёта нецензурщины и рассматривать как возглас восхищения (получения кайфа от) происходящим действием) :d
