18000 обращений к сайту со стороны поисковых роботов

А вы проверьте их IP адреса, может это вовсе и не поисковые роботы.

Crawl-delay прописали в роботсе?

А вообще 30000 обращений это всего 1 в 3 секунды, как бы ниочём для хорошего сайта ;)

если много страниц... много трафика... много ссылок

то роботы там будут жить - это норма!

хостинг? хм... а чего не VPS? ведь наверняка сайт не маленький и можете себе позволить

кстати, облачник купите в буржунете! там цены намного меньше

ps естественно, если сам сайт оптмизирован

Сайт то хороший конечно! посещалка до августа была в районе 500 после того как пошли эти запросы ... упала да 100-150! может и нет конечно связи, но до этого было всё стабильно!

В основном мой сайт посещают с 2-х ip: 142.54.177.6 и 178.20.235.164. В интернете эти два адреса помечены как адреса спам роботов. Подскажите если я через файл .htaccess запрещю этим ip посещение моего сайта это поможет?

ip гуглил....пишут что это спам роботы....

---------- Добавлено 05.09.2017 в 16:10 ----------

Вы имеете в виду : оптмизирован под VPS?

Эти ip адреса не относятся к известным адресам роботов поисковых систем. Смело блокируйте. Временно поможет, но скорее всего появятся другие, подходите к процессу творчески :)

ChizikPyzhik, советую ничего не делать. Зачем какой-то краулделай или блок айпи. Это надо же - через месяц засуетиться...

не могу я ничего неделать! мне уже дважды хостер блокировал аккаунт, а там есть другие сайты!

ChizikPyzhik, ну смени хостера.

Маловероятно, что это поисковые роботы так долбят. Смотрите IP. Возможно кто-то ваш сайт парсит какими-то сервисами или программами. Если такие частые обращения 1-2 IP, то просто заблокируйте их. Если все же никакой конкретики найти не удастся, то просто пропишите Crawl-delay в роботсе.

Если это WP, смотрите в сторону Wordfence Security.

)))) сменил.... нагрузка на ресурсы хостера то от этого не сменилась!