Область видимости

видит все, если носом ткнуть, то есть все в которые его ткнули видит, плюсс те которые сам нечаянно нашел :)

Хм, а зачем Вам?)

А сколько всего страниц в Рунете? Скажите, и тогда посчитать долю будет нетрудно ;)

А сколько, к примеру, страниц на сайте, который выдает всем SessionID, который каждый раз разный ?

Думаю, что все страницы, которые более-менее заслуживают того, чтобы их "видеть".

В общем так, по приблизительной оценке Влада Шабанова по данным на середину мая в индексе Рамблера было примерно 715 млн. документов, из которых в поиске доступны 642 млн. Еще примерно 2.232 млрд. стоят в очереди на индексацию. В этих 2.232 млрд есть мног дублей и мусора. В общем, примерным числом документов рунета было названо число 1.4 млрд. Теперь возьмите число документов на морде Яндекса, примерно прикиньте количество возможных дублей и мусора в базе и получите некое число х. Теперь поделите дробь х/(1.4 млрд + примерное чило появившихся - примерное число исчезнувших страниц с мая по сегодня) и получите искомое число с определенной (фиг знает какой) погрешностью.

Адрес материала с цифрами Шабанова - http://www.webplanet.ru/news/internet/2005/5/18/nigma.html.

Навряд ли Вы найдете более точные данные.

Многие страницы Яндекс не видит потому, что они закрыты от индексации, но на самом деле существуют. Например, сайты типа info.msu.ru (не знаю есть такой - но это что-то типа информационного сервера универа). Там лежит куча материалов, которые не должны выйти за его пределы. Также не проиндексировано много сайтов, которые сожержат "секретные" сведения и поэтому закрыты от индексации, либо паролем. Например, платные энциклопедии Яндекс не сможет найти, или страницы сайта, доступ к которым возможен только после регистрации.

Так что если, например, вы хотите найти статью, которая есть на сайте с закрытым доступом - вам не повезло. Ведь многие зарегистрированные пользователи этого сайта ее видят.

А есть еще закрытые форумы, которых тоже много и поисковый бот не может их проиндексировать.

А есть закрытые, но которые может проиндексировать.

Как такое бесит, когда переходишь по ссылке, а он тебе выкидывает форточку апачевской авторизации и при неправильном (ну естественно, откуда мне его знать) пароле отказывает в доступе с 403.

в лучшем случае процентов 30

доказывать ничего не буду - такие иследования уже проводились на более мощных поисковиках

яндекс вообще ленив ... вот гляньте http://www.yandex.ru/yandsearch?stype=www&nl=0&text=http%3A%2F%2Fbloggreenwood.com хотя я в нем и не нуждаюсь но это о многом говорит