Search console - robots.txt Не получен - Отсутствует

есть и такое, тупо на некоторых проектах что угодно пишет по куче редиректов уже год почти. И в индексе держит и выкидывает в непроиндексированно, увы

Ровно тоже проблема на одном сайтике была, наверно пол года с периодичностью в неделю пытался индексировать всякими способами и ничего, закрыто в роботс.

Сайт не сильно нужный, скорее для истории и не переживал. Но в один день решил карты сайта и ленты переделать на более прогрессивные решения. Через недельку вспомнил, что надо и в консоле заменить на новые. Заменил, дня через два, если не путаю, попытался закинуть новый урл в индекс и всё прошло без проблем. закинул все прошлые за некоторое время, что не индексировал и новые теперь без проблем.

бывает такое что проблема решается сама через некоторое время, хорошо это или плохо - решать вам. Но факт присутсвует

Я считаю, что решилась после загрузки новой карты сайта. Старая с ошибкой отдавалась после изменения, закинул новую и вопрос решился.

вполне может быть, но вот карта никак не связана в консоли с роботс тхт

Критических проблем с подключением к серверу у ботов гугла нет, - "допустимая частота сбоев", в марте был один день, что сервер около 8 часов не работал, после этого почти стабильный аптайм. Количество страниц с 5XX ошибкой в отчете по индексированию составляет около 0,1% от всех просканированных страниц. Количество страниц в индексе  - около 77% от всех просканированных. Проблема получается с частыми периодическими сбоями доступа к robots.txt и, возможно, как следствие этого - ни одна карта сайта "не получена" и не обработана из-за какой-то "общей ошибки HTML". Валидацию xml карт проверял в разных сервисах - все норм, в я.вебмастере тоже все норм, никаких ошибок с картами нет.

бот начинает скан с роботс тхт - если там беда и он не может его получить - то дальше ни карты, ни страницы само собой не "доступны"

Есть два таких: 66.249.72.202 - за 16 число и 66.249.79.33 - за 12 число с обращением к robots.txt, если я правильно понимаю, это реальные, т.е. из подсетей указанных в файлах: 

https://developers.google.com/search/apis/ipranges/googlebot.json

https://developers.google.com/search/apis/ipranges/special-crawlers.json

https://developers.google.com/search/apis/ipranges/user-triggered-fetchers-google.json

А у остальных (около 14 шт. посмотрел) нет совпадений по первым 3 цифрам, например, - 128.75.236.166 - получается гуглбот с таким ip - поддельный? 

Таки да это просто кто-то маскируется под гугл бот