Search console - robots.txt Не получен - Отсутствует

123 4
minsky
На сайте с 01.09.2012
Offline
199
#11



Вот что гугл советует по этому поводу https://support.google.com/webmasters/answer/9012289?hl=ru#url_on_google_errors

Продвигаю сайты ссылками, ускоряю индексацию сайтов и отдельных страниц ( https://kwork.ru/user/minsky?ref=23382 )
M
На сайте с 10.06.2018
Offline
52
#12
minsky #:



Вот что гугл советует по этому поводу https://support.google.com/webmasters/answer/9012289?hl=ru#url_on_google_errors


Вот это мой случай, я подробно со скриншотами описал его в первом сообщении. Я не понимаю, что физически может ограничивать доступ бота "Google Inspection Tool на смартфоне" к robots.txt. При этом с яндексом проблем нет, а так же в логах доступа я вижу у гуглбота на robots.txt всегда 200. Такой результат, как на скриншоте ниже, получается для любой страницы, даже той, что есть в индексе:


S
На сайте с 28.10.2005
Offline
314
#13
marselniz #:
а так же в логах доступа я вижу у гуглбота на robots.txt всегда 200.

А сколько байт отдаётся?

Там в консоле вроде есть что-то типа "Посмотреть как гуглбот"?

M
На сайте с 10.06.2018
Offline
52
#14
semenov #:
А сколько байт отдаётся?

В моем первом сообщении на первом скриншоте видно сколько байт весит robots.txt в тех случаях когда статус "Получено":

https://u.to/epU6Ig 


При просмотре полученной версии в sc, она ничем не отличается от той, что на сайте. 

M
На сайте с 10.06.2018
Offline
52
#15
semenov #:
Там в консоле вроде есть что-то типа "Посмотреть как гуглбот"?

Данный функционал, по видимому, сейчас называется "Изучить просканированную страницу" - да, там виден код, скриншот и прочие данные, но похоже, что он  доступен только для страниц в индексе (robots.txt нет в индексе). Если нажимаешь на кнопку "Проверить страницу на сайте" для любой страницы, даже которая есть в индексе, то появляется оишбка, как из предыдущего сообщения, - "Не удалось выполнить. Не удалось получить доступ к Robots.txt".

S
На сайте с 28.10.2005
Offline
314
#16

Что за хостер?

Создайте задачу в пингадмине, пусть чекает каждые 5 минут из Америки

S
На сайте с 28.10.2005
Offline
314
#17
marselniz #:
В моем первом сообщении на первом скриншоте видно сколько байт весит robots.txt в тех случаях когда статус "Получено":
Не, по логам сколько отдаётся? Всегда норм?
M
На сайте с 10.06.2018
Offline
52
#18
semenov #:
Не, по логам сколько отдаётся? Всегда норм?

Кажется, да,  я всегда вижу 110 в таких записях за 16 число. У многих других ботов тоже 110 или 94

Тут 94 за 12 число у всех записей гугл бота:


minsky
На сайте с 01.09.2012
Offline
199
#19
-----
M
На сайте с 10.06.2018
Offline
52
#20
semenov #:
Что за хостер?

вебхост 1, фреймворк реакт, яндекс облако еще как-то используется.

Пингадмин попробую, сейчас uptimerobot использую.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий