Search console - robots.txt Не получен - Отсутствует

123 4
M
На сайте с 10.06.2018
Offline
52
3710
Добрый день!

Помогите, пожалуйста, разобраться в проблеме. Сломал уже голову, вроде все проверил.

1. В google search console периодически статус у robots.txt отображается как "Не получен - Отсутствует", иногда "Получен":


2. Проблема наблюдается в течении последнего месяца, до этого месяца 3 все было норм:


3. Повторное сканирование robots.txt всегда вызывает ошибку "Ошибка сканирования – Не удалось получить доступ к Robots.txt":


4. Все карты сайта со статусом "Не получено" (видимо следствие ошибок доступа к robots.txt). У всех карт ошибка - "Не удалось обработать файл Sitemap...Общая ошибка HTTP": 


5. Любой урл, даже тот, что в индексе, после проверки, после нажатия по кнопке "Проверить страницу на сайте" выдает ошибку - "URL недоступен Google...Эту страницу нельзя проиндексировать: Страница недоступна из-за проблемы со всем сайтом...Не удалось выполнить. Не удалось получить доступ к Robots.txt":


Индексация в гугле ухудшилась. Никаких подобных проблем в я.вебмастере не наблюдается, там все отлично и с индексацией тоже. Аналогичных проблем с другими сайтами в search console как с ранее добавленными, так и добавленными после - нет. В логах смотрели, - у Googlebot на robots.txt всегда 200, как и всех других ботов. "Проблемы безопасности" и "Меры, принятые вручную" в sc - проблем нет.

Есть ли у вас какие-нибудь идеи куда копать и в чем может быть проблема?

Сайт показан на первом и третьем скриншоте.
Vladimir SEO
На сайте с 19.10.2011
Offline
1927
#1
marselniz :
Есть ли у вас какие-нибудь идеи куда копать и в чем может быть проблема?
в доступе гуглбота к хосту
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
M
На сайте с 10.06.2018
Offline
52
#2
Vladimir SEO #:
в доступе гуглбота к хосту

https://u.to/Cpg6Ig

https://u.to/RJg6Ig

Vladimir SEO
На сайте с 19.10.2011
Offline
1927
#3
я об этом же, все вопросы к серваку/хосту
S
На сайте с 28.10.2005
Offline
311
#4

Хостер решил себе нагрузку уменьшить походу?

Поверьте https://ping-admin.com/free_test/

Бесплатная проверка доступности сайта из различных частей мира: Ping-Admin.Com — мониторинг сайтов и серверов.
Бесплатная проверка доступности сайта из различных частей мира: Ping-Admin.Com — мониторинг сайтов и серверов.
  • ping-admin.com
Предлагаем посмотреть и оценить, как работает Ping-Admin.Com, воспользовавшись бесплатной проверкой вашего сайта из разных уголков мира. Введя адрес своего сайта (конкретной страницы на сайте), вы сможете увидеть, как будет выглядеть...
M
На сайте с 10.06.2018
Offline
52
#5
semenov #:

Хостер решил себе нагрузку уменьшить походу?

Поверьте https://ping-admin.com/free_test/

Проверял ранее. Сейчас еще раз проверил, отметил больше США. Вроде все норм: 

https://u.to/vJk6Ig

Vladimir SEO
На сайте с 19.10.2011
Offline
1927
#6
marselniz #:
Вроде все норм: 
в этом то и прикол - что хост вроде как работает но иногда не работает или не пускает гуглбота
M
На сайте с 10.06.2018
Offline
52
#7
Vladimir SEO #:
в этом то и прикол - что хост вроде как работает но иногда не работает или не пускает гуглбота

А если хост иногда не пускает гуглбота, мы можем увидеть об этом какие-нибудь записи в логах?

Vladimir SEO
На сайте с 19.10.2011
Offline
1927
#8
marselniz #:

А если хост иногда не пускает гуглбота, мы можем увидеть об этом какие-нибудь записи в логах?

вам в любом случае надо с хостером говорить и предьявлять ему данные из консоли - либо сменить хостинг и забыть о проблеме
M
На сайте с 10.06.2018
Offline
52
#9
Vladimir SEO #:
в этом то и прикол - что хост вроде как работает но иногда не работает или не пускает гуглбота

Аптайм чекаю каждый 5 минут на протяжении недели. Один короткий инцидент за все время: 

https://u.to/4po6Ig

M
На сайте с 10.06.2018
Offline
52
#10
Vladimir SEO #:
вам в любом случае надо с хостером говорить и предьявлять ему данные из консоли - либо сменить хостинг и забыть о проблеме

Да, вероятно, другого ничего не остается.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий