Страница просканировано, но не проиндексировано

Если бы у TC были критические проблемы с откликом, то рабочие обстоятельства были совсем другие. 

Тем более, что со слов TC у него уже был опыт с большими сайтами, так что проверить отклик и замерить скорость загрузки страниц  он бы всяко догадался.

Алиэкспресс.(Результатов: примерно 81 900 000 (0,47 сек.)) и это только по моей локации. Китайских братьев, конечно много, некоторые за пайку риса работают, но неужели Вы думаете, что они каждое описание ручками делают? Кстати, к своим ошибкам они тоже нормально относятся (со здоровым пофигизмом), по площадям бьют. Да и не зацикливайтесь на количестве. Имелось ввиду для каждой стр. Методы генерации для каждой ниши свои. Тут желательная своя, индивидуальная изюминка для неповторимой, качественной генерации.

Это не софистика. Я люблю ковырять логи. А то, что Мюллер не совсем в своём уме - это и так понятно. Хотя в случае "двух минут" здравое зерно всё равно есть. Если мне позарез нужно попасть на определенный ресурс - я буду ждать и 5 минут, перезагружая страничку. Не загрузится - позже зайду.
Другое дело, что владельцу сайта на такое рассчитывать не стоит, всегда есть альтернативы его ресурсу, и стоит поднапрячься, чтобы сайт был доступен - и быстро - и людям, и поисковым ботам.
Однако самый важный момент - это всё таки вопрос краулингового бюджета в этом контексте. Его искусственно не увеличишь, а тут человек 10 тыщ страничек разом влил без редиректов. 

Подскажите, пожалуйста, как построить такой график?

Это пыль для гугла. Вы краулинговый бютжет рассматриваете только в контексте дискового пространства?

А я ещё рассматриваю как бюджет реального времени.

https://search.google.com/search-console/settings/crawl-stats (не знаю сработает ссылка или нет)

Настройки > Статистика сканирования

Подскажите, пожалуйста, как путём ковыряния логов можно узнать сколько ждёт паук Вашего ответа?

~530мс. Не уж то из этого не продвигается сайт в Гугле? Просто фактическая скорость загрузки моего сайта превышает конкурентов минимум в два раза. 

Я не буду утверждать на 100%. С моей стороны это было бы однобоко. Но подумайте сами - за пол-секунды паук съедает 1 стр. А будь ответ ~50мсек - он МОГ бы съесть в 10 раз больше. Просто произведите элементарное арифметическое действие.

И не будем забывать, что он может опрашивать многопоточно, конвеером + другие боты + реальная нагрузка на сервак от пользователей.

~530мс - это-ж какая база у Вас?.  Допустим запрос к полумилионной основной таблице на 2,5 Гб у меня выполняется за ~1мсек (если в кеше, если нет - max - 7ms. Остальное - вспомогательные запросы, формирование ответа, отсылка ответа.

Для гугла и ваш сайт - пыль. Но его лимиты - не пыль для вашего сайта. Смотрите логи, сопоставляйте количество заходов гуглобота и сопоставляйте с реальным объёмом сайта.