Sitealert: В данном контексте поисковикам плевать на редирект.
---------- Добавлено 20.02.2018 в 23:12 ----------
Это в вебмастере смотрят, а не в логах.
В смысле в вебмастере смотрят и плевать на редирект?
Если гугл что-то хочет получить от моего сайта то я увижу в логах запрос.
---------- Добавлено 20.02.2018 в 23:26 ----------
Тут кстати на форуме вебмастеров появился товарищ с похожей проблемой, только у него затык, судя по всему, в DNS. Т.е. гугл не может отрезолвить то, что успешно резолвится всеми другими.
Если проксирование не поможет, то попробую делегировать зону в другое место, например на Route53 (сейчас на Mastername).
Там редирект, да и в логах запросов всё равно нет таких.
---------- Добавлено 20.02.2018 в 23:09 ----------
neoks: agerasimov, Может и не блокирует, но у гугла нету доступа к хостингу или к каналу на котором он расположен.
Попробуйте завернуть домен через https://www.cloudflare.com/ , если проблема решится, то съезжайте от текущего хостинга или оставайтесь на cloudflare.
Да, решил так и поступить.
Возьму временно дешёвый ВПС у другого хостера и буду через него проксировать трафик на основной сервер.
Надеюсь, поможет.
P.S. Текущий хостер - Chipcore (бывший Технодом), он же Selectel
По словам саппорта аналогичных проблем у других клиентов нет
Фух, кажется решился вопрос.
Переделегировал домен на другой DNS (от Селектела) и спустя пару часов повалили запросы от настоящего гугл бота.
Надеюсь, в сёрч консоли всё тоже станет хорошо.
Всем на заметку, в общем: при подобной фигне (недоступность robots.txt) стоит попробовать поменять DNS/хостинг.
В данном контексте поисковикам плевать на редирект.
---------- Добавлено 20.02.2018 в 23:12 ----------
Это в вебмастере смотрят, а не в логах.
В смысле в вебмастере смотрят и плевать на редирект?
Если гугл что-то хочет получить от моего сайта то я увижу в логах запрос.
---------- Добавлено 20.02.2018 в 23:26 ----------
Тут кстати на форуме вебмастеров появился товарищ с похожей проблемой, только у него затык, судя по всему, в DNS. Т.е. гугл не может отрезолвить то, что успешно резолвится всеми другими.
Если проксирование не поможет, то попробую делегировать зону в другое место, например на Route53 (сейчас на Mastername).
А может быть, бот пытается пробиться по адресу http://salon-provans.ru/robots.txt всё-таки?
Там редирект, да и в логах запросов всё равно нет таких.
---------- Добавлено 20.02.2018 в 23:09 ----------
agerasimov, Может и не блокирует, но у гугла нету доступа к хостингу или к каналу на котором он расположен.
Попробуйте завернуть домен через https://www.cloudflare.com/ , если проблема решится, то съезжайте от текущего хостинга или оставайтесь на cloudflare.
Да, решил так и поступить.
Возьму временно дешёвый ВПС у другого хостера и буду через него проксировать трафик на основной сервер.
Надеюсь, поможет.
P.S. Текущий хостер - Chipcore (бывший Технодом), он же Selectel
По словам саппорта аналогичных проблем у других клиентов нет
В сухом остатке:
1) Проверил логи с момента начала проблемы (14-го числа).
Успешные GET и HEAD запросы от Googlebot на /robots.txt, корень, и ещё пару основных разделов сайта.
2) В статистике сканирования запросы и трафик упали в 0
3) В ошибках сканирования 100% ошибок типа "Время ожидания истекло" по /robots.txt
Ничего не понимаю, как может время ожидания истечь, если я вижу успешные запросы в логах.
Если только ответ от веб-сервера застревает где-то дебрях сети по пути в гугл.
---------- Добавлено 20.02.2018 в 19:27 ----------
UPD к сухому остатку:
Пробил IP этих "гугл ботов" - всё это левые боты)
Получается, настоящий гугл бот не может достучаться до сервака.
Хостер утверждает что трафик никак не фильтруется.
;15489073']Всё-таки, кто-то забанил гуглобота.
Если бы я его забанил, то его бы не было в access логе :)
И браузер, и голый curl страницы получает. Логи, отличные от 20x/30x есть?
В error-логе гугла нет.
Вот несколько свежих запросов от него в access-логе, вроде всё норм:
213.159.210.11 - - [20/Feb/2018:17:19:50 +0300] "HEAD / HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
213.159.210.11 - - [20/Feb/2018:17:20:01 +0300] "HEAD /postelnoe-belye HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
45.79.65.120 - - [20/Feb/2018:18:09:09 +0300] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"