выпали страницы с уникальным контентом

Проблема в том, что то, что там написано - это полуправда.

Забавно то, что Эрик Шмидт увтерждает, что у них не хватает машин (что отчасти объясняет неожиданные выпдения страниц из "белых" сайтов и нежелание гугля индексировать новые странички)

В то время, как Мэт Катс, утверждает, что компьютеров у них достаточно :-) ужасный мир, никому нельзя верить. Еще отдельный прикол заключается в том, что гугль очень долго синхронизирует dir.googles.com и ODP :-)

Скорее всего тут множество факторов накладываются, большинство из которых умалчивается.

Кстати, а откуда данные по размеру индекса, если не секрет?

Верно, но это хоть какая то информация о процессах проиcходящих с google

http://www.icq.com/search/results.php?q=-kjhkjw3424&ch_id=&search_mode=web

В то время как тут 25 милиардов - http://www.google.com/search?hl=en&q=-234lkjsdljfklsdf&btnG=Google+Search

да нет, это некорректный способ оценки размера индекса.

вот, например, так

http://www.icq.com/search/results.php?q=%D1%82%D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BA%D0%B0%D0%BC%D0%B8&search_mode=web&start=150

http://www.google.com/search?q=%D1%82%D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BA%D0%B0%D0%BC%D0%B8&num=100&hl=en&lr=&start=300&sa=N

нужно по редко встречающимся ключевым словам и проверять есть ли слова на странице, потому как поиск по семантике ссылок вещь загадочная.

При этом, обратите внимание, что гугль выдает результатов значительно меньше, чем анонсирует (второй запрос)

хотя, прошу пардона, результатов порядка 800, но 700 supplemental.

может аська просто не считает supplemental results?

Да и так и так можно. В любом случае гугл врет. А это наводит на мысль, что у них действительно есть проблемы с железом.

Да нет, в том-то и дело, что нельзя. Потому что в первом случае поисковик может абсолютно любую цифру написать, а дает посмотреть только первые эн страниц. Это раз, во вторых, нужно реально проверять, есть ли искомые ключевые слова на странице, или найдено по ссылке. Возможно, это опять-таки только на "коротких" запросах. В-третьих, запрос должен быть по поиску ровно одного слова. Потому что по всем другим запросам может играть роль специфика конкретного поисковика.

Вот, кстати, классика на тему оценки размера индекса

http://net.pku.edu.cn/~wbia/2004/public_html/Readings/web%20graph/Searching%20the%20World%20Wide%20Web%20(1998)%20.pdf

Я не спец. в определении размеров индекса, но может проще так:

http://www.google.com/search?sourceid=navclient&hl=ru&ie=UTF-8&rls=GGLD,GGLD:2005-23,GGLD:ru&q=http