Фух, кажется решился вопрос.
Переделегировал домен на другой DNS (от Селектела) и спустя пару часов повалили запросы от настоящего гугл бота.
Надеюсь, в сёрч консоли всё тоже станет хорошо.
Всем на заметку, в общем: при подобной фигне (недоступность robots.txt) стоит попробовать поменять DNS/хостинг.
В смысле в вебмастере смотрят и плевать на редирект?
Если гугл что-то хочет получить от моего сайта то я увижу в логах запрос.---------- Добавлено 20.02.2018 в 23:26 ----------Тут кстати на форуме вебмастеров появился товарищ с похожей проблемой, только у него затык, судя по всему, в DNS. Т.е. гугл не может отрезолвить то, что успешно резолвится всеми другими.
Если проксирование не поможет, то попробую делегировать зону в другое место, например на Route53 (сейчас на Mastername).
Там редирект, да и в логах запросов всё равно нет таких.---------- Добавлено 20.02.2018 в 23:09 ----------
Да, решил так и поступить.
Возьму временно дешёвый ВПС у другого хостера и буду через него проксировать трафик на основной сервер.
Надеюсь, поможет.
P.S. Текущий хостер - Chipcore (бывший Технодом), он же Selectel
По словам саппорта аналогичных проблем у других клиентов нет
В сухом остатке:
1) Проверил логи с момента начала проблемы (14-го числа).
Успешные GET и HEAD запросы от Googlebot на /robots.txt, корень, и ещё пару основных разделов сайта.
2) В статистике сканирования запросы и трафик упали в 0
3) В ошибках сканирования 100% ошибок типа "Время ожидания истекло" по /robots.txt
Ничего не понимаю, как может время ожидания истечь, если я вижу успешные запросы в логах.
Если только ответ от веб-сервера застревает где-то дебрях сети по пути в гугл.---------- Добавлено 20.02.2018 в 19:27 ----------UPD к сухому остатку:
Пробил IP этих "гугл ботов" - всё это левые боты)
Получается, настоящий гугл бот не может достучаться до сервака.
Хостер утверждает что трафик никак не фильтруется.
Если бы я его забанил, то его бы не было в access логе :)
В error-логе гугла нет.
Вот несколько свежих запросов от него в access-логе, вроде всё норм:
213.159.210.11 - - [20/Feb/2018:17:19:50 +0300] "HEAD / HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
213.159.210.11 - - [20/Feb/2018:17:20:01 +0300] "HEAD /postelnoe-belye HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
45.79.65.120 - - [20/Feb/2018:18:09:09 +0300] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
