Спасибо за ответ с указанием возможных причин, но ситуация с индексацией остается прежней, редко в индекс попадают 1-2 страницы с последующим их вылетом, главная не индексируется совсем. Если судить по логам, робот ходит только по ссылкам с верхнего меню, карту сайта игнорирует. 301 редирект с cybercom.ru на www.cybercom.ru был заменен на директиву host в robots.txt, возвращаемые же сервером http заголовки были валидными все время существования сайта на новой cms. Поможет ли использование тэга noindex для закрытия к индексации шапки сайта, из-за размера которой робот может принимать все страницы сайта за дубликаты ?