Что влияет на индексирование сайта?

Сервер должен отдавать правильные заголовки, не более.

Для постоянной индексации необходимо обновление контента на страницах которые вы хотите переиндексировать.

Удобная навигация как для людей, так и для роботов

Размер страницы в приемлемых пределах (текстовой информации). Не надо выкладывать развернутый топ "Война и Мир"

Как насчёт robots.txt, модуля mod_rewrite, .htaccess.

Обязательно ли их наличие?

Это я так понял из темы ЧПУ ? Нет. На индексацию это не оказывает влияния.

Это дело необходимости и желания. Робот при заходе на сервер запрашивает данный файл. При его отсутствии сервер выдаст 404ю ошибку и если вам это неприятно то данный файл необходимо создать и настроить. На поисковых системах приведены формы его заполнения и она стандартна для популярных поисковиков и как бы обязывает к его соблюдению.

P.S. Конечно если необходимо запретить индексацию определенных областей сайта и т.д. то robots.txt обязателен, но все это думаю вы и так знаете :)

На частоту обновления контента.

Больше 100 кб текста размещать не стоит.

Как проверить, правильные или не правильные заголовки отдает сервер?

либо использовать сервис, либо использовать плагины - например для ФФ есть Live HTTP Headers (найти не проблема)

есть экзотический способ - взять minibrowser и им смотреть (это дядюшка greenwood еще давно подсказал)

Последние долговременнные выпадения сайтов из индекса - это глюк Яндекса?

Да, в большенстве. При этом они не признаются и в основном списывают на наш хостинг и доступность сайта. :)

Что касается содержимого страниц рекомендую следующее:

Ссылки должны быть прямые. Не стоит увлекаться большим количеством ссылок на одной странице и большим уровнем вложенности страниц. Можно рекомендовать уровень вложенности 3 внутренних + главная. Количество ссылок на странице не более нескольких сотен. Хотя у самого были успешные случаи индексации и большего уровня вложенности и большего (=1000) количества ссылок со страницы - увлекаться не стоит.

Эти параметры похоже зависят от статического веса, возможно главной, возможно страницы с которой робот принимает решение о дальнейшем движении (вИЦ для Яндекса и PR для Google). Также общее количество индексируемых страниц похоже зависит от стат веса, возможно главной.

Рекомендуется по возможности не использовать фреймы, динамическое формирование контента на JavaScript. Недавно здесь рассматривали случай, когда нагромаждение всех этих вещей привело к неиндексированию на главной части контента со ссылками на разделы.

Рекомендуется для лучшего индексирования делать содержимое страниц максимально различными, в т.ч. и тайтл. Яндекс рекомендует это для лучшей индексации. Google выносит даже не четкие дубли в дополнительный индекс (Supplemental Results), которые реже индексируются и результаты из этого индекса автоматически выдаются только при отсутствии результатов в основном, в других случаях пользователь должен нажимать на ссылку "дополнительные результаты".

Для создания максимально различных страниц, в т.ч. можно рекомендовать для Google формировать максимально различные заголовки и различное содержимое тега description. Для яндекса частично дублирующийся контент рекомендуется заключать в тег <noindex>. <noindex> использовать аккуратно следить, что бы в него не попали нужные ссылки.

а как можно ускорить индексацию сайта?

сайт новый...