Во-первых, на мой взгляд, методика чрезмерно переусложнена.
Во-вторых, неверно полагать, что частотные запросы - это то, что нужно. Распределение запросов такое, что "хвосты" откидывать нельзя. Кроме того, в голове стоят обычно "бессмысленные" запросы.
Смешно пытаться искать соответствие запросу "рефераты". Эта тема интересна только спаммерам. Обычно поисковики закрывают эту тему выдачей из каталога.
Я бы выбрал фиксированный набор запросов (небольшой) из средней части спектра. Интересных запросов, наподобие 25-ти Лоуренса и Гиля из каой-нибудь одной области знания. Тогда будет проще определять степень соответстивия.
С запросами же типа реферат будет сплошная вкусовщина.
Не думаю, чтобы у меня, или у Игоря возникнет желание специально затачивать поисковики под какие-то жалкие 20 запросов.
Кроме того, необходимо отделить процесс поиска от процесса оценки результатов, так, чтобы оценивающий не знал от какого поисковика какие результаты.
Еще одно важной замечние: нужно сравнивать такие варианты выдачи искалок, которые ближе по принципам формирования. Например, может быть, стоит сравнивать Рамблер с Яндексом, в варианте выдачи по документам, а не по серверам. Хотя выдача по серверам гораздо информативней и интересней для пользователя. (Явно неучтенный параметр в описанной методике)
Илья Сегалович, Яндекс
На запрос далекая галактика их сайт на первом месте в Яндексе. По крайней мере вчера.
