В чём причина ошибок?

настройки хостинга ограничивают чрезмерно частое посещение сайта, чтобы сбалансировать нагрузку более менее равномерно между всеми пользователями.

если этого не делать какой либо один сайт будет забирать все мощности сервера, а остальные будут недоступны.

как вариант перейти на более дорогой тариф, либо впс.

Спасибо за ответ kgtu5, это понятно. Но в моём случае, мне так кажется, это обычное поведение робота Гугла, ничего сверхестественного он не делает, работает, как и на любом другом хостинге.

Тариф у меня дорогой, второй сверху, даже IP выделенный. В таком случае можно ли предположить, что политика этого хостинга более ограничительная, чем на большинстве других? В таком случае мне пришлось бы выбирать другой хостинг, чего не хотелось бы.

---------- Добавлено 08.06.2015 в 23:17 ----------

Тут такая мысль пришла. Примерно месяц назад удалил с моего сайта около одной трети страниц, которые стали не нужны. И, кроме того, разрешил индексацию довольно большого количества фотографий. Тематика / специфика сайта требует их наличие. Раньше их индексация была закрыта в robots, но специалисты посоветовали открыть. Может быть всё это вызвало более сильную активность поисковиков, что и привело к повышенной нагрузке на сервер?

На сайте было месяц назад примерно 600 страниц, индексация была разрешена для примерно 30 фото. После изменений осталось порядка 400 страниц и оставшиеся около 5000 фотографий стали доступны для индексации. Прошедший месяц был достаточен для индексации таких изменений? Стоит ли менять хостинг или подождать какое-то время?

строить догадки ни к чему, анализируйте access.log сайта, там все ответы - сколько, как часто, куда.

P.S. (на своем при мере видел :) ) гугл иногда ведет себя совсем не обычно и может пустать своего робота на не обновляемый 100страничный сайт с частотой 10стр/сек, соответственно нагрузка => вынужденное ограничение частоты запросов к сайту на сервере.

kgtu5, проблема ещё и в том, что я не специалист в таких делах и при всём желании не могу проанализировать access.log сайта. Поэтому и нужен совет спецов, которые исходя из своего опыта могли бы сказать, в чем причина. "Симптомы" я описал довольно полно. Это не такой уж сложный вопрос для опытных, да и случай наверняка не первый.

Скорее всего часть ссылок имеют на конце слэш, а часть нет, какие-то отдают код 200 из-за этого какие-то нет. Проверьте это.

Вы можете посмотреть их в индексе: название страницы site:yoursite.yours если есть значит есть, если нет значит вп отстой, что скорее всего причина.

спецы всегда основываются на фактах (читать логах), остальное это гадание по фотографии.

будь вы трижды не специалистом, но читать то вы умеете.

access|error.log - обычный текстовой файл, открывается любым редактором.

в него пишется информация о запросах и ошибках вашего сайта (кто, когда, откуда, куда, каким браузером), просмотреть файл и найти одинаковые/похожие строки сможет, на мой взгляд, любой.

или не хотите? есть спец. раздел, где за денежку можно попросить кого либо сделать это.

P.S. лечить советами не видя реальной картины - очень плохая идея. еще раз повторю - нужны факты (правильное название см. выше), а не рассказы.