Роботы сильно грузят хостинг

B
На сайте с 18.05.2013
Offline
14
277

Добрый день!

Ситуация такая: На новом интернет-магазине спустя 3 месяца от запуска заметили перегрузку хостинга в среднем около 200 CP при максимально допустимых 65 CP. Стало понятно, что это робот Яндекса обращается к страницам иногда по 35 000 раз в день. 95%, а то и более страниц - это страницы фильтра товаров по параметрам (материал, цвет, бренд), которые закрыты в noindex follow и загружаются, когда робот Яндекса тыкается в фильтр и генерит этих страниц огромное количество. Была дилемма - либо закрыть эти страницы в disallow (и таким образом ухудшить индексацию товаров) либо придумать еще что-то. Придумали Crawl-delay, что решило проблему и загрузка стала с трудом укладываться в норму 65 CP. Далее снизили нагрузку еще вдвое оптимизировав код сайта.

Но вот снова была замечена перегрузка до 200 cp. Оказалось, что появился вот такой IP 198.143.133.42 , который в день грузит 15 000 страниц.

Подскажите, что с этим делать, вижу два варианта:

1. Заблокировать запросы данного IP и спокойно жить дальше.

2. Закрыть страницы фильтра товаров в disallow. Ведь если как описано в первом пункте IP заблокирую, то через месяц или неделю появится другой робот. А если закрою в disallow, то объем сайта для роботов снизится на столько, что они уже не смогут перегрузить хостинг. Но есть и минус - ухудшится индексация товаров.

Что посоветуете?

S
На сайте с 17.12.2008
Offline
300
#1

Вбил ваш айпи в строчку браузера - есть что почитать, в том числе и варианты решения вашего вопроса http://198.143.133.42

15 жирных вечных ссылок с трастовых сайтов с высоким ТИЦ ( https://goo.gl/zd62Qa ) Найдем и устраним SEO-ошибки Вашего сайта, которые мешают продвижению ( https://goo.gl/gHsx1U ) Высококачественный рерайтинг: 50 р. / 1000 знаков ( https://goo.gl/5xDmhE )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий