Управление полнотой переиндексации сайта

"Зачастую разработчики сайта не задумываются о том, как обеспечить наиболее быструю и полную индексацию и переиндексацию страниц сайта. И если для сравнительно небольших сайтов размером в несколько десятков страниц, это, может быть, и не очень актуально, то пренебрежительное отношение к подобного рода вещам в случае сайтов, содержащих большое количество документов, измеряемое сотнями и тысячами, может привести к тому, что роботы поисковых машин будут постоянно переиндексировать одни и те же не изменяющиеся малоинформативные документы, обходя стороной основной контент сайта. Существует ряд технических приемов, позволяющих добиться более быcтрой и полной индексации и переиндексации страниц сайта.
Разбиение сайта на поддомены.
Роботы поисковых машин могут иметь ограничения на количество индексируемых за один визит документов с одного сайта. Особенно замедляют индексацию быстрорастущий контент, такой, например, как посещаемый форум или доска объявлений. Поэтому можно порекомендовать такие разделы выносить в поддомены - для них у поисковых машин уже будут свои квоты и они не будут замедлять индексацию основных разделов сайта.
Настройка заголовка отклика сервера на GET и HEAD с полем If-Modified-Since
Роботы поисковых машин при переиндексации запрашивают документы с полем If-Modified-Since в котором ставится дата последней переиндексации. Для статических документов сервер самостоятельно формирует корректный отклик на такой запрос - 200 ОК, если документ изменялся после даты, указанной в запросе либо 304 Not Modified, если не изменялся. Во втором случае робот не будет скачивать документ и обновлять его в своей базе.......