Ок. Спасибо.
Вообще про долю не знаю.
На download.com был интересный опрос.
Вопрос примерно такой: "Где вы искаете софт".
Первое место Google 78%
Остальное поровну, правда там еще и сам download.com был.
Думаю гугл больше половины поисков вообще обрабатывает.
Смотри в личке
phpDig
:)
Interitus, наверняка вы в этом хорошо разбираетесь.
Объяснили бы человеку что значит культурнее.
а вот и ответы...
не сомневаюсь, что бот хранит версию HTTP с урлами,
но не для того чтобы добавить весу за более старую (читайте более совместимую :)) ) версию протокола.
наверняка, бот "ходит с мешком", чтобы быстрее сграбить и потом дома ;) спокойно все разложить по полкам :)
а если серьезно, то при каждом заходе, бот обязан, прежде чем начать хватать страницы, запросить и прочитать robots.txt (вдруг вы что-то успели запретить ;) )
поэтому, ИМХО, боту выгоднее соединяться на keep-alive,
который появился в версии 1.1
так что, ставьте 1.1, но не забудьте проверить настройки апача (по умолчанию должны быть 1.1)
вообще, ИМХО, зеркала нужно прописывать вручную.
будете владеть ситуацией ;)
http://www.yandex.ru/info/webmaster2.html (robots.txt)
------в случае 1.0 дела лучше шли с апортом, а по остальным все падало и наоборот----------
если можно, пожалуйста в цыфрах
если вы действительно отследили этот фактор... :)
но, пока не видится, почему поисковики могут отдавать предпочтение версии...
в любом случае, читайте RFC2616 и RFC2068
все ответы там ;)
причитай здесь http://yandex.ru/info/webmaster2.html (robots.txt)
это для всех нормальных поисковиков (публичных)
если кто-то будет парсить, то паролем...
а вообще, говорят, лучший способ, не выкладывать в сеть ;)
хорошая четкая структура, правильные заголовки и немного терпения, и бот вас полюбит во всю глубину ;)
---------------
за один проход, у бота врядли глубина рекурсии велика
а вот заданий много, так что ждите, он про вас не забыл ;)
