marselniz

Есть два таких: 66.249.72.202 - за 16 число и 66.249.79.33 - за 12 число с обращением к robots.txt, если я правильно понимаю, это реальные, т.е. из подсетей указанных в файлах: 

https://developers.google.com/search/apis/ipranges/googlebot.json

https://developers.google.com/search/apis/ipranges/special-crawlers.json

https://developers.google.com/search/apis/ipranges/user-triggered-fetchers-google.json

А у остальных (около 14 шт. посмотрел) нет совпадений по первым 3 цифрам, например, - 128.75.236.166 - получается гуглбот с таким ip - поддельный? 

Критических проблем с подключением к серверу у ботов гугла нет, - "допустимая частота сбоев", в марте был один день, что сервер около 8 часов не работал, после этого почти стабильный аптайм. Количество страниц с 5XX ошибкой в отчете по индексированию составляет около 0,1% от всех просканированных страниц. Количество страниц в индексе  - около 77% от всех просканированных. Проблема получается с частыми периодическими сбоями доступа к robots.txt и, возможно, как следствие этого - ни одна карта сайта "не получена" и не обработана из-за какой-то "общей ошибки HTML". Валидацию xml карт проверял в разных сервисах - все норм, в я.вебмастере тоже все норм, никаких ошибок с картами нет.

Написал - https://u.to/l7w6Ig

вебхост 1, фреймворк реакт, яндекс облако еще как-то используется.

Пингадмин попробую, сейчас uptimerobot использую.

Кажется, да,  я всегда вижу 110 в таких записях за 16 число. У многих других ботов тоже 110 или 94

Тут 94 за 12 число у всех записей гугл бота:

Данный функционал, по видимому, сейчас называется "Изучить просканированную страницу" - да, там виден код, скриншот и прочие данные, но похоже, что он  доступен только для страниц в индексе (robots.txt нет в индексе). Если нажимаешь на кнопку "Проверить страницу на сайте" для любой страницы, даже которая есть в индексе, то появляется оишбка, как из предыдущего сообщения, - "Не удалось выполнить. Не удалось получить доступ к Robots.txt".

В моем первом сообщении на первом скриншоте видно сколько байт весит robots.txt в тех случаях когда статус "Получено":

https://u.to/epU6Ig 

При просмотре полученной версии в sc, она ничем не отличается от той, что на сайте. 

Вот это мой случай, я подробно со скриншотами описал его в первом сообщении. Я не понимаю, что физически может ограничивать доступ бота "Google Inspection Tool на смартфоне" к robots.txt. При этом с яндексом проблем нет, а так же в логах доступа я вижу у гуглбота на robots.txt всегда 200. Такой результат, как на скриншоте ниже, получается для любой страницы, даже той, что есть в индексе:

Да, вероятно, другого ничего не остается.

Аптайм чекаю каждый 5 минут на протяжении недели. Один короткий инцидент за все время: 

https://u.to/4po6Ig