Не удалось скачать содержимое страницы - Яндекс.Вебмастер.

проверка ответа сервера - там 8 ботов, проверь все, а не только основного
исходя из ответа 200  "Проверка страницы" , какой то должен ответить 200

После этого отключи кэширование, и удали кэш. Еще раз проверь ответы сервера 8 ботами

всех ботов проверил - без изменений . А как кеш очистить подскажите  ?

Вот и разбирайтесь с хостингом, почему хостинг банит запросы Яндекса.

И это логично.

Это вторая часть вопроса, но она относится к правилам обработки адресов с WWW. 

Вам нужно разобраться в основной проблеме - почему сервер не отдаёт роботу Яндекса содержимое страницы.

Покажите им скриншот, если они вам присылают аналогичный скриншот, где всё в порядке - значит вы что-то не так делаете.

Если они игнорируют данные скриншота и не могут прокомментировать, почему через Вебмастер сайт не проходит проверку - меняйте хостинг.

Такой хостинг не нужен.

p.s. Как URL тестируете? 

Протестируйте статичный текстовый файл, например, site.ru/robots.txt 

Если результат будет вот таким,

то дело не в хостинге.

ну кстати , боты заходят на сайте , по логам глянул .. только в меньшем количестве ... Наверно часть ботов по ip отсеялась 

у меня VDS. По большей степени тут все на  мне . Но поддержка все проверяет и говорит, что не видит проблемы .. 

Я создавал разные файлы  для теста , разные страницы. Никакого изменения. 

В данном случае мне больше кажется , что будто яндекс запомнил (в кеше завис) , что мой сайт был недоступен , а когда он стал доступен , то информацию еще не обновил у себя .. 
Просто. когда начинаешь проверку, по логике в acccess.log должен быть запрос  + ответ 403, к примеру, но запроса никакого нет . Типа Яндекс и так знает, что ему не надо слать запрос, он и не делает  

Роботы Яндекса не работают с кэшем. 

Вебмастер конечно может глючить и выдавать неверные данные, но если спустя время проводить повторную проверку, должно срабатывать.

Какой URL проверяете? Пришлите в личку (если здесь стесняетесь) - я посмотрю.

Аналогичная проблема со вчерашнего вечера:

ТП Яндекса шлет к ТП хостинга, ТП хостинга утверждает, что блокировки ботов Яндекса нет. Если проверять по http или вообще без протоколов - показывает 301 редирект на https, а если проверять по https - пишет Не удалось скачать страницу. Статичные файлы по https тоже не скачивает. Хостер даже перевыпустил SSL - не помогло. Временно отключали перенаправление c http на https тогда робот все скачивает. Куда копать не знаю - замкнутый круг нарисовался! 🤔

У вас был сайт недоступен? Просто у меня тоже какое то время из-за ddos на сервер на котором сайт (VPS).

Потёрто.

Может есть у кого какие-нибудь мысли? ТП Яндекса стоит на своем - проблема на стороне хостинга, который блокирует бота Яндекса при проверке кода ответа сервера. С ТП хостинга занимались 2 дня. Перепроверили все логи. Стабильно при обращении по http - 301 редирект на https, при обращении по https - обращения нет. Отключали все плагины, меняли htaccess, перевыпускали SSL - ничего не помогает. Сделали поддомен на услуге - к нему Яндекс бот обращается, а к основному сайту нет. Снесли основной сайт и вместо него сделали один текстовый файл - все равно Яндекс бот к нему не обращается.

Т.е. на услуге расположили 2 домена (основной + субдомен) на одном сервере, которые имеют одинаковое содержимое корневых каталогов (пустой файл txt), но для основной домен Яндекс Вебмастер не проверяет, а субдомен проверяет. На всякий случай проверили CDN кеширование - ничего нету. Ну просто ума не приложу, что в Яндексе могло поломаться только с одним сайтом. Все остальные сайты в Вебмастере робот проверяет без проблем.

Вопрос к ТС - у Вас ничего не прояснилось?