Нагрузка от Яндекс бота

L
На сайте с 16.10.2014
Offline
108
3354

Доброго времени суток уважаемые знатоки! помоги разобраться в проблеме

Пред история -

Интернет магазин на Opencart 1.5..

Седели на хостинге

ukraine.com.ua

Но нам там не хватало оперативки на обработку (отдачу) прайса в xml виде . "Модуль Яндекс.Маркет"

Переехали на hvosting.ua эта проблема решилась , но начались невероятные нагрузки на процессор.

Хостер говорит, что проблема в Яндекс боте

а вчера/сегодня цифры посещений бота:

[[ -- Requests by IP -- ]]
-- [[ shopauto.com.ua ]] --
42716 130.193.50.2 [RU] spider-130-193-50-2.yandex.com
41106 130.193.50.24 [RU] spider-130-193-50-24.yandex.com
5623 5.255.253.42 [RU] spider-5-255-253-42.yandex.com
1692 130.193.37.29 [RU] spider-130-193-37-29.yandex.com
794 93.158.152.49 [RU] spider-93-158-152-49.yandex.com
302 141.8.142.23 [RU] spider-141-8-142-23.yandex.com
285 5.255.253.54 [RU] spider-5-255-253-54.yandex.com
[[ -- Requests per day -- ]]
2016-01-31 70240
2016-02-01 22278

Примеры посещаемых URL (!!! почему-то он их сканирует по многу раз — в
частности эти — по 23 раза, возможно у вас движок их отдает с очень малым
временем валидности?):

/avtozapchasti/akkumulyatory/akkumulyatoryakb-galaxy-optimal-power-silver-85-ah12v-276x17.html
/bezopasnost-avto/znaki-avariynye/znaki-zhilety-avarijnye-procheezhilet-avarijnyj-oranzhevyj-x-1.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotacitroen-c5-s-2001-2004-gv-deflektor-kapota.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotanissan-navara-d22-c-2001-2005-gv-deflektor.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotassang-yong-korando-s-2010-gv-deflektor-kapo.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotatoyota-corolla-e12-c-2001-2007-sdn-deflekto.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonchevrolet-cruze-wagon-2012-deflektory-okon-ve.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonhyundai-accent-2010-deflektory-okon-vetroviki.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonjeep-grand-cherokee-2-1999-2004-deflektory-ok.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonopel-vectra-1988-1995-4d-vstavni-kt-4sht-defl.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonrenault-latitude-2010-2013-deflektory-okon-ve.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonrenault-scenic-iii-2009-deflektory-okon-vetro.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonsuzuki-sx4-2006-4d-kleyush-sya-kt-4sht-hb-def.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okontoyota-corolla-10-2007-2012-4d-kleyush-sya-kt.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonvolkswagen-golf-2-1983-1987-2d-vstavni-kt-2sh.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonvolkswagen-pointer-hb-5d-2003-parati-1999-200.html
/deflektory-spoylery-nakladki/zashchita-far/zashita-fartoyota-land-cruiser-200-2007-2011-zashita-far-kar.html
/dlya-gruzovikov/detali-iz-plastika/detali-iz-plastikakronshtejn-fary-daf-xf-95-1997-2002-levyj.html
/dlya-gruzovikov/detali-iz-plastika/detali-iz-plastikapanel-golovnoj-fary-daf-xf-95-2002-xf-105-1.html
/dopolnitelnoe-oborudovanie/kompressory/kompressorykompressor-12-volt-12a-10-atm-27lmin-prikurivatel.html
/dopolnitelnoe-oborudovanie/kompressory/kompressorykompressor-voin-vl-580-150psi-15amp-38l-prikuriva.html
/dopolnitelnoe-oborudovanie/optika-dopolnitelnaya/optika-dopolnitelnayafara-dopolnitelnaya-d65mm-cvet-stekla-b.html
/dopolnitelnoe-oborudovanie/optika-dopolnitelnaya/optika-dopolnitelnayafary-dnevnogo-sveta-1w6led-1812239mm-el.html
/eksterer/bagazhniki/bagazhnikibagazhnik-avtomobilnyj-dromader-d-1-alyuminievyj-1-2.html
/eksterer/bryzgoviki/bryzgovikibryzgoviki-opel-astra-j-hb-09-zadnie-komplekt-2sht.html
/eksterer/bryzgoviki/bryzgovikibryzgoviki-suzuki-grand-vitara-perednie-udlenennye.html
/eksterer/zerkala-legkovye/zerkala-legkovyezerkalo-bokovoe-zb-f2-p-black-led-metal-cher.html
/instrument/nabory-instrumentov/nabory-instrumentovinstrument-hans-bita-30mmspline-m10-10mm0.html
/instrument/nabory-instrumentov/nabory-instrumentovinstrument-hans-torcevaya-golovka-38dr-6-4.html
/instrument/nabory-instrumentov/nabory-instrumentovotvertka-krest-rn-1-100mmop1100n-op1100n.html
/interer/aksessuary-salona/aksessuary-salonapodsvetka-salona-12v-27x27mm-15smd-3528-3-a.html
/interer/chehly-modelnye/chehly-modelnyechehly-avtomobilnye-dlya-chevrolet-lanos-s-20.html
/interer/chehly-modelnye/chehly-modelnyechehly-avtomobilnye-dlya-daewoo-gentra-2013-g.html
/interer/derzhateli-razvetviteli-prikurivatelya/organajzery-kryuchki-veshalkiadapter-avtomobilnyj-mc1-12-24v.html
/interer/opletka-rulya/opletka-rulya-kozha-chernaya-sw220-l.html
/interer/ventilyatory/ventilyatoryventilyator-perednyaya-setka-chernyj-karkas-24v-1.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonkovry-salona-rezinovye-citroen-c-ely.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonkovry-salona-rezinovye-vw-t4-1991-20.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonmazda-6-2002-2007-kovry-v-salon-avto.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonrenault-twingo-2007-2014-kovry-v-sal.html

Также хочу добавить что в это время в Яндекс Директе добавил динамические об явления , это все глобальные изменения :)

Помогите решить... куда копать что делать ?

Купить автомобиль из США можно тут (https://us-car.com.ua)
FlyAway
На сайте с 01.06.2005
Offline
439
#1

lexter, как насчет Crawl-delay?

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
K
На сайте с 04.02.2013
Offline
29
#2

Была проблема с нападками ботов. Поставил параметр:

Crawl-delay: 5

Процессор не перегружается.

L
На сайте с 16.10.2014
Offline
108
#3
FlyAway:
lexter, как насчет Crawl-delay?

Спасибо ! Сколько рекомендуете поставить ? секунды 2 ?

---------- Добавлено 01.02.2016 в 12:11 ----------

kakge:
Была проблема с нападками ботов. Поставил параметр:

Crawl-delay: 5

Процессор не перегружается.

Благодарю так и сделаю!

FlyAway
На сайте с 01.06.2005
Offline
439
#4

lexter, трех достаточно, будет валить – поставь 5.

L
На сайте с 16.10.2014
Offline
108
#5
FlyAway:
lexter, трех достаточно, будет валить – поставь 5.

оке, пасибки

TMP007
На сайте с 15.05.2015
Offline
16
#6

Если у прошлого провайдера ничего не падало при более слабой конфигурации, то дело в настройке сервера, а не в активности бота. Crawl-delay может решить проблему только с ботами Яндекса, и то не всегда. При этом есть поисковики с еще более агрессивными ботами, которым пофик на crowl-delay.

Рекомендую обратиться к хостеру по поводу подключения и настройки nginx.

L
На сайте с 16.10.2014
Offline
108
#7
TMP007:
Если у прошлого провайдера ничего не падало при более слабой конфигурации, то дело в настройке сервера, а не в активности бота. Crawl-delay может решить проблему только с ботами Яндекса, и то не всегда. При этом есть поисковики с еще более агрессивными ботами, которым пофик на crowl-delay.
Рекомендую обратиться к хостеру по поводу подключения и настройки nginx.

Благодарю за отзыв, но хостер не может выявить проблему....

Единственное что они указывают это яндекс бота.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий