Google Не удалось выполнить. Превышена нагрузка на хост

Сегодня удалось через вебмастер гугла запросить индексирование для 5 страниц, потом снова такая же ошибка и больше не добавляется ни одна страница. А те, что удалось добавить, в поиске так и не появились. 

Из интересного, по сайту, на котором данная проблема появилась, вот такая аномальная активность в разделе "Статистика сканирования". 

У других интересно тоже подобным образом график? И как раз после вот этого резкого скачка вверх и перестало все индексироваться, хотя в эти дни ничего особенного на сайте не делал. 

везде вроде норм на сайтах... посещаемых.... ру сайтах...

на индексацию отправляется вручную...

Зарубежный форум кишит темами об этой проблемы 10+ постов в день, никто не дает ответ что происходит.
Многим помогает смена ip + новый vds
Также на свой страх и риск можно поиграться с функцией скорости обхода бота:
https://www.google.com/webmasters/tools/settings

Вопрос на засыпку: У вас каждый день на сайт по несколько тысяч страниц добавляется?
Нет?
Тогда график должен быть меньше сотни 10-100

Нет, в этом ничего страшного, но это все что вы знаете о ПС?
Не хотите изучить оптимизацию crawl бюджета и уменьшить не скорость, а уменьшить использование бюджета процентов на 90 ? Тогда и нагрузка на хостинг пропадет. И если Гугл урезал бюджет, его в любом случае  хватит

Еще раз говорю что дело в баге, пытаться оптимизировать сайт сидя на том же хосте результат не дает.

Страшно когда речь идет о баге пс

Если смотреть в настройках Goole Console, 18 октября была проблема с доступом к robots.txt и со следующего дня пропали запросы на сканирование (ушли в 0)

Нет связи между нынешней проблемой и нагрузкой на хостинг. Это уже и Джон Мюллер в твиттере признал.

Сравнил. Кто такой Мюллер, да никто. А вот Vladimir, это да.

Вчерашние новые страницы на сайте совсем в индекс не зашли. Ни сами, ни через ручное сканирование.

Ручное сканирование успешное, и добавление на индексирование успешное,..  но в выдаче совсем не появились.

Каждый раз проверяю страницы, они как будто совсем не индексированные.

А сегодня стало выдавать ошибку  красным при сканировании вручную вчерашних страниц "Превышена нагрузка на хост ".

Правда, если три раза страницу перезагрузить появляется успешное сканирование зеленым.  Снова отправляю их на индексацию и снова благополучно.

Но в поисковике пусто, их там нет.

Проблема на сайте появилась только вчера, до этого ее не было.

Причем другие наши сайты удачно индексируются. Проблема выборочная видимо.

PS. Сайт мапы почему-то перестали обрабатываться за 21 число дата последней обработки, т.е. 2 дня назад.

Друзья, как вы думаете, можете проблема с плагином XML Sitemap? Никто не смотрел, может он полетел и блокирует доступ гугл боту?