не сомневаюсь, что бот хранит версию HTTP с урлами,
но не для того чтобы добавить весу за более старую (читайте более совместимую :)) ) версию протокола.
наверняка, бот "ходит с мешком", чтобы быстрее сграбить и потом дома ;) спокойно все разложить по полкам :)
а если серьезно, то при каждом заходе, бот обязан, прежде чем начать хватать страницы, запросить и прочитать robots.txt (вдруг вы что-то успели запретить ;) )
поэтому, ИМХО, боту выгоднее соединяться на keep-alive,
который появился в версии 1.1
так что, ставьте 1.1, но не забудьте проверить настройки апача (по умолчанию должны быть 1.1)
Ок. Спасибо.
Вообще про долю не знаю.
На download.com был интересный опрос.
Вопрос примерно такой: "Где вы искаете софт".
Первое место Google 78%
Остальное поровну, правда там еще и сам download.com был.
Думаю гугл больше половины поисков вообще обрабатывает.
Смотри в личке
phpDig
:)
Interitus, наверняка вы в этом хорошо разбираетесь.
Объяснили бы человеку что значит культурнее.
а вот и ответы...
не сомневаюсь, что бот хранит версию HTTP с урлами,
но не для того чтобы добавить весу за более старую (читайте более совместимую :)) ) версию протокола.
наверняка, бот "ходит с мешком", чтобы быстрее сграбить и потом дома ;) спокойно все разложить по полкам :)
а если серьезно, то при каждом заходе, бот обязан, прежде чем начать хватать страницы, запросить и прочитать robots.txt (вдруг вы что-то успели запретить ;) )
поэтому, ИМХО, боту выгоднее соединяться на keep-alive,
который появился в версии 1.1
так что, ставьте 1.1, но не забудьте проверить настройки апача (по умолчанию должны быть 1.1)
вообще, ИМХО, зеркала нужно прописывать вручную.
будете владеть ситуацией ;)
http://www.yandex.ru/info/webmaster2.html (robots.txt)
------в случае 1.0 дела лучше шли с апортом, а по остальным все падало и наоборот----------
если можно, пожалуйста в цыфрах
если вы действительно отследили этот фактор... :)
но, пока не видится, почему поисковики могут отдавать предпочтение версии...
в любом случае, читайте RFC2616 и RFC2068
все ответы там ;)
причитай здесь http://yandex.ru/info/webmaster2.html (robots.txt)
это для всех нормальных поисковиков (публичных)
если кто-то будет парсить, то паролем...
а вообще, говорят, лучший способ, не выкладывать в сеть ;)
хорошая четкая структура, правильные заголовки и немного терпения, и бот вас полюбит во всю глубину ;)
---------------
за один проход, у бота врядли глубина рекурсии велика
а вот заданий много, так что ждите, он про вас не забыл ;)