Есть два таких: 66.249.72.202 - за 16 число и 66.249.79.33 - за 12 число с обращением к robots.txt, если я правильно понимаю, это реальные, т.е. из подсетей указанных в файлах:
Критических проблем с подключением к серверу у ботов гугла нет, - "допустимая частота сбоев", в марте был один день, что сервер около 8 часов не работал, после этого почти стабильный аптайм. Количество страниц с 5XX ошибкой в отчете по индексированию составляет около 0,1% от всех просканированных страниц. Количество страниц в индексе - около 77% от всех просканированных. Проблема получается с частыми периодическими сбоями доступа к robots.txt и, возможно, как следствие этого - ни одна карта сайта "не получена" и не обработана из-за какой-то "общей ошибки HTML". Валидацию xml карт проверял в разных сервисах - все норм, в я.вебмастере тоже все норм, никаких ошибок с картами нет.
semenov#: Там в консоле вроде есть что-то типа "Посмотреть как гуглбот"?
Данный функционал, по видимому, сейчас называется "Изучить просканированную страницу" - да, там виден код, скриншот и прочие данные, но похоже, что он доступен только для страниц в индексе (robots.txt нет в индексе). Если нажимаешь на кнопку "Проверить страницу на сайте" для любой страницы, даже которая есть в индексе, то появляется оишбка, как из предыдущего сообщения, - "Не удалось выполнить. Не удалось получить доступ к Robots.txt".
Вот что гугл советует по этому поводу https://support.google.com/webmasters/answer/9012289?hl=ru#url_on_google_errors
Вот это мой случай, я подробно со скриншотами описал его в первом сообщении. Я не понимаю, что физически может ограничивать доступ бота "Google Inspection Tool на смартфоне" к robots.txt. При этом с яндексом проблем нет, а так же в логах доступа я вижу у гуглбота на robots.txt всегда 200. Такой результат, как на скриншоте ниже, получается для любой страницы, даже той, что есть в индексе:
Кстати можно проверить не подделаны ли боты https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ru
Есть два таких: 66.249.72.202 - за 16 число и 66.249.79.33 - за 12 число с обращением к robots.txt, если я правильно понимаю, это реальные, т.е. из подсетей указанных в файлах:
https://developers.google.com/search/apis/ipranges/googlebot.json
https://developers.google.com/search/apis/ipranges/special-crawlers.json
https://developers.google.com/search/apis/ipranges/user-triggered-fetchers-google.json
А у остальных (около 14 шт. посмотрел) нет совпадений по первым 3 цифрам, например, - 128.75.236.166 - получается гуглбот с таким ip - поддельный?
напишите на гугл форум отправлю инженерам пусть посмотрят
Написал - https://u.to/l7w6Ig
Что за хостер?
вебхост 1, фреймворк реакт, яндекс облако еще как-то используется.
Пингадмин попробую, сейчас uptimerobot использую.
Не, по логам сколько отдаётся? Всегда норм?
Кажется, да, я всегда вижу 110 в таких записях за 16 число. У многих других ботов тоже 110 или 94
Тут 94 за 12 число у всех записей гугл бота:
Там в консоле вроде есть что-то типа "Посмотреть как гуглбот"?
Данный функционал, по видимому, сейчас называется "Изучить просканированную страницу" - да, там виден код, скриншот и прочие данные, но похоже, что он доступен только для страниц в индексе (robots.txt нет в индексе). Если нажимаешь на кнопку "Проверить страницу на сайте" для любой страницы, даже которая есть в индексе, то появляется оишбка, как из предыдущего сообщения, - "Не удалось выполнить. Не удалось получить доступ к Robots.txt".
А сколько байт отдаётся?
В моем первом сообщении на первом скриншоте видно сколько байт весит robots.txt в тех случаях когда статус "Получено":
https://u.to/epU6IgПри просмотре полученной версии в sc, она ничем не отличается от той, что на сайте.
Вот что гугл советует по этому поводу https://support.google.com/webmasters/answer/9012289?hl=ru#url_on_google_errors
Вот это мой случай, я подробно со скриншотами описал его в первом сообщении. Я не понимаю, что физически может ограничивать доступ бота "Google Inspection Tool на смартфоне" к robots.txt. При этом с яндексом проблем нет, а так же в логах доступа я вижу у гуглбота на robots.txt всегда 200. Такой результат, как на скриншоте ниже, получается для любой страницы, даже той, что есть в индексе:
вам в любом случае надо с хостером говорить и предьявлять ему данные из консоли - либо сменить хостинг и забыть о проблеме
Да, вероятно, другого ничего не остается.
в этом то и прикол - что хост вроде как работает но иногда не работает или не пускает гуглбота
Аптайм чекаю каждый 5 минут на протяжении недели. Один короткий инцидент за все время:
https://u.to/4po6Ig