Предлагаю метод ускорения индексации больших сайтов

Предлагается следующее:

1. Используя Google sitemap по серверным логам сделать карту сайта в его стандартном xml формате. За сим для Гугля все заканчивается и дальше можно не заморачиваться. Остальное читать для остальных поисковиков.

2. Обрабатывается xml файл любым доступным способом (хоть с помощью регулярных выражений, парсинга, обработки xml или тупо в Ворде с помощью замены) и оттуда выдераются все url полученных страниц.

3. Потом все это пилится скриптом (прогой хоть на VB или Delphi) на html страницы содержашие ссылки. Сразу тут же можно выдерать из реальных страниц тайтлы и подставлять их в ссылки. Таких страниц получается много. Общее их количество ограничивается только количеством исходящих ссылок. Примем их равным (условно) 200, хотя ничего не мешает и придерживаться полуофициальной цифры 150. Так же создается индексная страница, содержащая ссылки на страницы по 200 (150) урлов.

4. Создается либо поддомен map.site.ru либо папка site.ru/map. Первый вариант хорошо для неЯндексов, т.к. это внешний домен, но в этом случае все ссылки будут являтся внешними и ограничение в 150 может еще ужесточится. Поэтому предпочтительнее думаю второй вариант в виде отдельной поддиректории, в этом случае все ссылки будут считаться внутренними. Хотя думаю варианты еще требует обсуждения. На эту "суперкарту" ставится ссылка с главной. Все полученные страницы заливаются на сервер, если все это делалось не на сервере непосредственно.

Итого. Принимая ограничения в 200 урлов таким образом можно сделать доступными для поисковиков с учетом "правила 3 кликов" 200*200=40000 страниц сайта.

Единственным узким место данного метода лично я пока вижу сложности с первичным наполенением серверных логов. Хотя если сайт реально посещаем то он сделается быстро. В крайнем случае можно просто посадить человека или создать своего бота который может пробежаться по всем страницам.

P.S. Надеюсь что это абсолютно "белый" метод оптимизации. :)