Критическая нагрузка на сервер базы данных

I9
На сайте с 26.03.2015
Offline
0
3640

Здравствуйте! Помогите разобраться в проблеме с нагрузкой на сайт.

Пришло письмо о нагрузке на сервер от хостинга. Показатели:

Дата-CPU-MYSQL

26 марта 28.42 cp 4606

25 марта 106.4 cp 10220

24 марта 72.68 cp 347198

23 марта 74.11 cp 103891

22 марта 32.33 cp 25211

21 марта 19.67 cp 68200

20 марта 13.44 cp 3117

19 марта 16.22 cp 2528

18 марта 23.66 cp 3959

17 марта 109.49 cp 2683

16 марта 33.95 cp 394

Максимальное значение на тарифах CPU 50 и MySQL 1000

хостинг не может сказать какие скрипты грузят сайт. Решать нужно проблему самостоятельно

Есть какие то логи которые удалось получить от хостинга, но если честно в них мало чего понятного.

Как выявить что грузит сервер, какой скрипт создает нагрузку или по какому ip поступает нагрузка, может брут.

На сайте работы не велись, нагрузка появилась внезапно и по сей день существует хотя и идет на спад сама собой. Единственное предположение. был добавлен новый товар около 500 позиций и может это поисковые системы создают нагрузку. но не понятно. помогите разобраться.

хостинг стандартный на таймвеб, переход на vds не решает проблему, так как нагрузка остается.

Логи могу предоставить так как здесь не получилось выложить.

Есть те кто смогут подсказать как вычислить источник нагрузки

kxk
На сайте с 30.01.2005
Offline
970
kxk
#1

irina99, На какой cms сайт?

Ваш DEVOPS
[umka]
На сайте с 25.05.2008
Offline
456
#2

Если хостинг не может указать на источник нагрузки, самостоятельно его определить будет гораздо сложнее.

Лог в помощь!
Den73
На сайте с 26.06.2010
Offline
523
#3

начните с простейшего - анализ access.log и логи медленных запросов sql (если хостер предоставит)

I9
На сайте с 26.03.2015
Offline
0
#4

Сайт сделан на битриксе, в логах привлекло два момента.

один из них:

euro-postel.ru 208.115.113.86 - - [26/Mar/2015:18:05:05 +0300] "GET /catalog/products/satin_jacquard/komplekt_postelnogo_belya_larkin_fioletovyy/%3Cimg%20id= HTTP/1.0" 301 319 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

второй это посещение яндекс робота:

euro-postel.ru 5.255.253.237 - - [26/Mar/2015:19:11:17 +0300] "GET /catalog/products/postelnoe_bele/postelnoe_bele_elegant_cassandra_korichnevyy/ HTTP/1.0" 200 15525 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.134 - - [26/Mar/2015:19:11:22 +0300] "GET /catalog/products/matrasy/matras_layt_skrutka_serii_bespruzhinnye_vysota_14_15_sm/ HTTP/1.0" 200 16324 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.144 - - [26/Mar/2015:19:11:27 +0300] "GET /catalog/products/shali_i_nakidki/nakidka_issimo_home_milos_purpurnyy/%3Cimg%20id=/ HTTP/1.0" 404 29093 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.134 - - [26/Mar/2015:19:11:29 +0300] "GET /catalog/products/postelnoe_bele/komplekt_postelnogo_belya_issimo_home_pamir_korichnevyy/ HTTP/1.0" 200 15806 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.230 - - [26/Mar/2015:19:11:34 +0300] "GET /catalog/products/sateen/komplekt_postelnogo_belya_issimo_home_ocean_belo_siniy/%3Cimg%20id=/ HTTP/1.0" 404 29104 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

больше ничего подозрительного, остальные посетители сайта которых не так много.

Предположение что яндекс грузит сайт но как быть в такой ситуации? и как другие живут с этим?

I9
На сайте с 26.03.2015
Offline
0
#5

Хостер жадный очень насчет предоставления логов запросов к базе, мы пытались и просили, но ничего не вышло (((

N
На сайте с 06.05.2007
Offline
419
#6
irina99:
На сайте работы не велись, нагрузка появилась внезапно и по сей день существует хотя и идет на спад сама собой.

А не важно велись работы или нет. У вас сайт постоянно работает и данные в нем накапливаются. В определенный момент некая величина достигает порогового значения и характер работы программы изменяется . Разве это не очевидно ?

Классический совет для битрикса - отключайте внутреннюю статистику. Она хранит данные в mysql. Но большинству вебмастеров статистики из других источников и так достаточно.

Второй классический совет - сделайте однократно оптимизацию таблиц (OPTIMIZE TABLE ) для каждой таблицы в phpmyadmin. Статистика о данных перестроится и, возможно, способ исполнения запросов изменится в лучшую сторону.

irina99:
Хостер жадный очень насчет предоставления логов запросов к базе, мы пытались и просили, но ничего не вышло (((

Не жадный, а разумно составил регламент работы техподдержки исходя из цены в тарифном плане. Это необычная работа для техподдержки. Кто виноват, кроме тех, кто тариф выбрал осознанно ? Логи может и не ведутся вовсе. На VPS с диагностикой точно будет удобнее. И не говоря уже о больших ресурсах на тарифных планах VPS.

Кнопка вызова админа ()
V
На сайте с 18.03.2013
Offline
90
#7
irina99:
хостинг стандартный на таймвеб, переход на vds не решает проблему, так как нагрузка остается.

Ошибаетесь. В данном случае пофигу нагрузка или разгрузка... Вы сами себе пределы устанавливаете. И с базой можно делать все что угодно и как угодно, с конфигами MySQL повозиться, отладки включить-выключить. Насколько фантазии хватит.

I9
На сайте с 26.03.2015
Offline
0
#8

Нам уже переносили как то сайт на vds с установленным веб-окружением битрикс, все работало намного хуже чем на тарифак у хостинга предназначенных для битрикса. и тогда нам пояснили что ситуация временная так как яндекс робот слишком много запрашивает с сайта отсюда и нагрузка на сайт. после чего сайт вернули обратно на стандартный хостинг и все было замечательно, но ситуация с нагрузкой повторяется. и нагрузка так же как и в прошлый раз уменьшается, но не понятно что можно сделать чтоб не повторялась нагрузка. статистики на сайте все отключены, это нам первым делом посоветовали в системе битрикс так как создает нагрузку, оптимизацию таблиц проводили с помощью систем в битриксе. Посоветовали воспользоваться Crawl-delay: 30 и запретить доступ для одного из бота:

SetEnvIfNoCase User-Agent "DotBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
I9
На сайте с 26.03.2015
Offline
0
#9

Можно ли как то в робот файле или в файле настроек сделать так чтоб ссылки вида запредить для скачивания яндексом

http://euro-postel.ru/catalog/products/towels_bamboo/salfetki_bambuk_karna_organic_1_3_v3/%3Cimg%20i...

либо перенаправлять их та туже страницу только без всяких дополнений в конце ссылки <img id=/<img id= или <img id=/<img id=/ <img id=/<img id=/

http://euro-postel.ru/catalog/products/towels_bamboo/salfetki_bambuk_karna_organic_1_3_v3/

не знаю что из этого лучше

Если да то как это можно сделать?

V
На сайте с 18.03.2013
Offline
90
#10
irina99:
Нам уже переносили как то сайт на vds с установленным веб-окружением битрикс, все работало намного хуже чем на тарифак у хостинга

Значит вот такой "хороший" VDS был.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий