Проблему решил.
Первая буква инструкции Allow была написана на кирилице (буква А). Написал латиницей и через 2 суток robots загрузился
Аналогичная проблема(
Причем раньше было нормально, пока не внес некоторые изменения в файл роботс и не перезаписал наново.
