Фатальная ошибка Главная страница сайта https://www......ru недоступна для робота: «404 Not found». Это может привести к удалению страницы из результатов поиска.

Так проверьте так ли это https://webmaster.yandex.ru/tools/server-response/

Вебмастер иногда может присылать чушь, но это не отображается на поиске. Плюс проверьте страницу в поиске по тайтлу.

Все ок. Вопрос был кто-еще получал?

Прикол в том, что главная страница реально выпала из поиска.  Хотя вебмастер показывает все ок.

Проверяю обход сервера инструментами вебмастера - все ок - страница 200 ок.

Но фатальная ошибка осталась в веб-мастере и страница вылетела из поиска.

Яшенька старенький стал. Ему говоришь "Удалить страницу", он "да-да, удаляем" и висит она еще с полгода. А там где не нужно - фигак и удалил. Видимо ручки трясутся, не туда попадает. Раньше этим только Гошенька страдал.

Бот Яндекса может заходить как минимум ещё из Нидерландов и с ipv6. Вы это не отключали в настройках хостинга?

Напоминает историю про летние баны за накрутку ПФ. Сначала прилетало письмо о проблеме с установкой ssl-сертификата, хотя проблем не было ни у кого, потом улетали запросы.

Спасибо проверим. Но все страницы в поиске. Вебмастер если проверять через индексирование - ОК.

Если проверить  в разделе фатальные ошибки через

Проверьте ответ сервера и при необходимости обратитесь к хостинг-провайдеру. То тоже все ок. 200-ок.

Ого новость. Не известны IP с которых он может заходить? Я Нидерланды нещадно блокирую.

Там что другое скорее всего. Вы же определяете боты поисковиков. И другие страницы он ищет - они все в поиске у меня. Только ошибка по главной.

Я когда занимался блокировкой ботов на сайте, случайно таких увидел по whois. 

Обычно боты Яндекса ходят по стандартному пулу айпи адресов, но после того как я заблокировал клики из серпа, стали заходить с нестандартных айпишников боты Яндекса.

Я не думаю что это страшно - заблокировать Нидерланды, Германию, Швецию, Эстонию, Литву и тп. Там посетителей реальных нет, с серваков боты ломятся.

С США такая же история, только можно сделать исключение для ботов гугла, Apple и msn/bing. Остальные посетители оттуда 99% ботов, как из Индии , Китая и Турции.

Может у вас хостинг рубит tls 1.0 и 1.1 ?

Поищите это событие по боту в логах сервера, если он до вас доползал, то увидите, что Яндексу  вернул сервер, как яшка обратился к серверу и с какого айпи шёл бот.