Drupal: Как снизить нагрузку на хостинг?

12
G1
На сайте с 06.08.2010
Offline
196
1584

Есть сеть новостных сайтов.

Раньше они были на сервере, но решил перенести на виртуальный хостинг. После переноса на виртуальный хостинг начались проблемы.

Самые успешные сайты имеют менее 500 посетителей в сутки, а большая часть сайтов имеет трафик менее 100 человек в сутки.

Попросили хостера прислать информацию процессы дают наибольшую нагрузку:

Top 20 of 26 domains:
-------------------------------------------
79279 28.33% 163gorod.ru
65993 23.59% 116chelny.ru
33360 11.92% 116kzn.ru
22819 8.16% 178piter.ru
14203 5.08% 152gorod.ru
12490 4.46% 164saratov.ru
11560 4.13% 155omsk.ru
9939 3.55% 154sibir.ru
9748 3.48% 116kama.ru
8357 2.99% 196ekb.ru
7063 2.52% 197msk.ru


Top 20 of 11745 IPs:
-------------------------------------------
20849 7.45% 31.28.170.216 - Ukraine
10082 3.60% 54.86.175.16 - United States: Amazon.com, Inc.
8121 2.90% 88.99.213.30 - Germany: Hetzner Online GmbH
5610 2.01% 37.9.113.75 - Russian Federation: YANDEX LLC
4423 1.58% 141.8.142.176 - Russian Federation: YANDEX LLC
4316 1.54% 188.127.251.97 - Russian Federation
3982 1.42% 188.127.249.245 - Russian Federation
3951 1.41% 95.173.146.220 - Russian Federation, Moscow
3762 1.34% 54.38.130.51 - France: OVH SAS
3757 1.34% 185.77.233.162 - Russian Federation
3537 1.26% 94.242.57.211 - Russian Federation
3531 1.26% 94.242.55.248 - Russian Federation
3278 1.17% 5.45.207.43 - Russian Federation: YANDEX LLC
3167 1.13% 66.249.69.181 - United States: Google Inc.
3146 1.12% 66.249.69.169 - United States: Google Inc.
2773 0.99% 141.8.142.112 - Russian Federation: YANDEX LLC
2688 0.96% 89.107.124.36 - Russian Federation, Moscow
2532 0.90% 141.8.142.146 - Russian Federation: YANDEX LLC
2531 0.90% 46.4.167.235 - Germany: Hetzner Online GmbH
2505 0.90% 46.4.167.237 - Germany: Hetzner Online GmbH

Top 20 of 5897 User-Agents:
-------------------------------------------
39414 14.09% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
30460 10.89% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36
23781 8.50% Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)
20841 7.45% Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36
15280 5.46% Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
10067 3.60% trendkite-akashic-crawler
8927 3.19% Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
8103 2.90% Wget/1.16 (linux-gnu)
7735 2.76% Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
5544 1.98% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
5520 1.97% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36
5344 1.91% Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)
4796 1.71% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
4081 1.46% Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0
3757 1.34% Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)
3542 1.27% Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/52.0.2743.116 Chrome/52.0.2743.116 Safari/537.36
3463 1.24% Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
3403 1.22% -
2666 0.95% Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
2020 0.72% Mozilla/5.0 (Windows NT 5.1; rv:45.0) Gecko/20100101 Firefox/45.0

Top 4 of 4 METHODs:
-------------------------------------------
255755 91.41% GET
23344 8.34% POST
690 0.25% HEAD
3 0.00% OPTIONS

Top 20 of 54624 Requests:
-------------------------------------------
20841 7.45% POST 116chelny.ru/NewsApi.php
11281 4.03% GET 163gorod.ru/sites/116kzn.ru/files/styles/news-img-full/public/2016/02/Zhiteli-Rossii-potratili-na.jpg?itok=NqidoV5h
7048 2.52% GET 116chelny.ru/yandex-news.xml
5374 1.92% GET 154sibir.ru/yandex-news.xml
4557 1.63% GET 116kzn.ru/yandex-news.xml
4271 1.53% GET 163gorod.ru/yandex-news.xml
4041 1.44% GET 164saratov.ru/yandex-news.xml
4001 1.43% GET 196ekb.ru/yandex-news.xml
3930 1.40% GET 197msk.ru/yandex-news.xml
3855 1.38% GET 152gorod.ru/yandex-news.xml
3715 1.33% GET 116kama.ru/yandex-news.xml
3489 1.25% GET 152gorod.ru/probki
2862 1.02% GET 178piter.ru/sites/all/modules/elysia_cron/cron.php?cron_key=XJq2kxqLsA_TLvdYN017tpiiB4FTu7k02vfjKa2vqc4
2680 0.96% GET 155omsk.ru/yandex-news.xml
2176 0.78% GET 163gorod.ru/
2052 0.73% GET 116chelny.ru/
1713 0.61% GET 154sibir.ru/probki
1654 0.59% GET 116chelny.ru/latest-events
1353 0.48% GET 116kzn.ru/latest-events
1088 0.39% GET 116kzn.ru/

Top CPers: (1741.900 total)
-------------------------------------------
137.111 116chelny.ru/NewsApi.php
67.958 163gorod.ru/batch
34.749 116chelny.ru/yandex-news.xml
33.053 152gorod.ru/probki
23.585 116chelny.ru/batch
22.310 116chelny.ru/admin/config/development/generate/content
21.545 116chelny.ru/
16.223 154sibir.ru/probki
13.177 163gorod.ru/latest-events
12.843 178piter.ru/sites/all/modules/elysia_cron/cron.php
9.336 155omsk.ru/
8.513 116chelny.ru/latest-events
6.296 164saratov.ru/
5.885 116chelny.ru/admin/config/delete-all-firms/firm
5.507 116kama.ru/
5.431 164saratov.ru/probki
5.417 155omsk.ru/rubriki/proisshestviya
5.412 197msk.ru/latest-events
5.308 163gorod.ru/cron.php
5.221 164saratov.ru/rubriki/gorod

Top 20 of 25 domains:
-------------------------------------------
43731 27.51% 163gorod.ru
33626 21.15% 116chelny.ru
18503 11.64% 116kzn.ru
14538 9.14% 178piter.ru
8250 5.19% 152gorod.ru
7637 4.80% 164saratov.ru
7095 4.46% 155omsk.ru
6254 3.93% 154sibir.ru
6175 3.88% 116kama.ru
5285 3.32% 196ekb.ru
4794 3.02% 197msk.ru

Top 20 of 6703 IPs:
-------------------------------------------
15167 9.54% 31.28.170.216 - Ukraine
6520 4.10% 88.99.213.30 - Germany: Hetzner Online GmbH
2573 1.62% 188.127.251.97 - Russian Federation
2562 1.61% 95.173.146.220 - Russian Federation, Moscow
2502 1.57% 188.127.249.245 - Russian Federation
2320 1.46% 185.77.233.162 - Russian Federation
2092 1.32% 66.249.69.53 - United States: Google Inc.
2034 1.28% 94.242.55.248 - Russian Federation
1996 1.26% 54.38.130.51 - France: OVH SAS
1832 1.15% 66.249.69.41 - United States: Google Inc.
1807 1.14% 94.242.57.211 - Russian Federation
1765 1.11% 188.163.37.71 - Ukraine, Lutsk
1642 1.03% 54.86.175.16 - United States: Amazon.com, Inc.
1602 1.01% 141.8.142.157 - Russian Federation: YANDEX LLC
1544 0.97% 178.154.200.37 - Russian Federation: YANDEX LLC
1542 0.97% 178.154.200.40 - Russian Federation: YANDEX LLC
1542 0.97% 5.255.253.26 - Russian Federation: YANDEX LLC
1524 0.96% 37.9.113.75 - Russian Federation: YANDEX LLC
1520 0.96% 87.250.224.118 - Russian Federation: YANDEX LLC
1519 0.96% 5.45.207.43 - Russian Federation: YANDEX LLC

Top 20 of 3202 User-Agents:
-------------------------------------------
24458 15.38% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
17167 10.80% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36
15167 9.54% Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36
14303 9.00% Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)
8599 5.41% Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
6510 4.09% Wget/1.16 (linux-gnu)
5389 3.39% Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
4347 2.73% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
3890 2.45% Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
3253 2.05% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
3145 1.98% Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)
2746 1.73% Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36
2623 1.65% Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0
2322 1.46% Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)
1880 1.18% Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
1647 1.04% -
1641 1.03% trendkite-akashic-crawler
1434 0.90% Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36
1355 0.85% Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
1123 0.71% Mozilla/5.0 (Windows NT 5.1; rv:45.0) Gecko/20100101 Firefox/45.0

Top 3 of 3 METHODs:
-------------------------------------------
141886 89.25% GET
16762 10.54% POST
328 0.21% HEAD

Top 2 of 2 Dates:
-------------------------------------------
158975 100.00% 18 Jul 2018
1 0.00% 17 Jul 2018

Top 20 of 30829 Requests:
-------------------------------------------
15167 9.54% POST 116chelny.ru/NewsApi.php
5848 3.68% GET 163gorod.ru/sites/116kzn.ru/files/styles/news-img-full/public/2016/02/Zhiteli-Rossii-potratili-na.jpg?itok=NqidoV5h
3790 2.38% GET 116chelny.ru/yandex-news.xml
3239 2.04% GET 154sibir.ru/yandex-news.xml
2521 1.59% GET 196ekb.ru/yandex-news.xml
2461 1.55% GET 116kzn.ru/yandex-news.xml
2448 1.54% GET 197msk.ru/yandex-news.xml
2426 1.53% GET 164saratov.ru/yandex-news.xml
2388 1.50% GET 163gorod.ru/yandex-news.xml
2381 1.50% GET 152gorod.ru/yandex-news.xml
2210 1.39% GET 116kama.ru/yandex-news.xml
1616 1.02% GET 155omsk.ru/yandex-news.xml
1504 0.95% GET 178piter.ru/sites/all/modules/elysia_cron/cron.php?cron_key=XJq2kxqLsA_TLvdYN017tpiiB4FTu7k02vfjKa2vqc4
1428 0.90% GET 152gorod.ru/probki
1017 0.64% GET 163gorod.ru/
968 0.61% GET 116chelny.ru/
883 0.56% POST 163gorod.ru/batch?id=13959&op=do
876 0.55% GET 197msk.ru/cron.php?cron_key=XJq2kxqLsA_TLvdYN017tpiiB4FTu7k02vfjKa2vqc4
826 0.52% GET 154sibir.ru/probki
821 0.52% GET 116chelny.ru/latest-events

Top CPers: (965.137 total)
-------------------------------------------
99.080 116chelny.ru/NewsApi.php
56.997 163gorod.ru/batch
19.079 116chelny.ru/yandex-news.xml
13.304 152gorod.ru/probki
10.114 116chelny.ru/
8.895 154sibir.ru/probki
6.790 178piter.ru/sites/all/modules/elysia_cron/cron.php
6.440 163gorod.ru/latest-events
6.177 163gorod.ru/cron.php
4.923 116chelny.ru/cron.php
4.440 155omsk.ru/
4.242 116chelny.ru/latest-events
4.086 197msk.ru/cron.php
3.654 164saratov.ru/
3.442 197msk.ru/latest-events
3.218 164saratov.ru/latest-events
3.192 155omsk.ru/rubriki/proisshestviya
3.187 152gorod.ru/latest-events
3.152 164saratov.ru/rubriki/gorod
3.141 116kama.ru/

До этого хостер присылал рекомендации по снижению нагрузки:

1. Прописать в панели вебмастера Яндекса и Гугла ограничение на скорость индексации сайтов – это все прописали.

2. В .htaccess: указали инструкции для игнорирования IP 31.28.170.216 и /NewsApi.php

3. /yandex-news.xml - сюда просто выкатили тестовую страницу.

Сейчас хостимся на Бегете, просто из-за щедрости хостера. Я думал проблема в хостинге и переехал на Hostiman, где сайты сражу заглохли.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

Ботов-парсеров заблокируйте для начала:

31.28.170.216 - Ukraine, Amazon.com, Inc., Hetzner Online GmbH, OVH SAS и прочее г-но.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
_
На сайте с 24.03.2008
Offline
381
#2

Да причем тут парсеры, когда

23344 8.34% POST

Да и заблокировал он уже...

SeVlad
На сайте с 03.11.2008
Offline
1609
#3
Gagarin12:
Попросили хостера прислать информацию процессы дают наибольшую нагрузку:

Это не процессы, а реффереры. Инфа ни о чем. Нужно смотреть что именно у тебя создаёт нагрузку.

И имей совесть - не нужно такие портянки в форум выкладывать. В крайнем случае используй ббкод [code][/code] (= # в расширенном редакторе), а не цитату

Оптимизайка:
Ботов-парсеров заблокируйте для начала:

При таком-то трафике :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
L
На сайте с 16.03.2012
Offline
345
lkm
#4

Друпал же. На 99% миллион запросов к БД постоянно при любом открытии страницы.

В8
На сайте с 26.07.2017
Offline
59
#5

Views используется на сайте?

Какая версия друпала?

Посмотрите Devel'ом журнал запросов, отсортированный по времени выполнения, и для начала вообще сколько показывает запросов и время выполнения.

В общем, недостаточно данных для ответа и не будет достаточно в рамках форума. Добавляйтесь в скайп, может чего подскажу.

L
На сайте с 16.03.2012
Offline
345
lkm
#6

Вадим825, а разработкой занимаетесь на Друпале? ))

S
На сайте с 30.09.2016
Offline
469
#7
lkm:
Друпал же.

Ещё лет десять назад ходила такая шутка

Мы поставили Друпал, и наш сайт опять упал.
CMS в целом неплохая, но тяжёлая.
Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
Plazik
На сайте с 29.07.2008
Offline
161
#8

Нагрузка идет на что? База данных, php?

Включите для начала встроенное кеширование на всех сайтах, тут например нет https://116chelny.ru/

x-powered-by: PHP/5.6.30

Обновите PHP до 7.0-7.1 - скорость вырастет сразу.

116chelny.ru/NewsApi.php

Что это за файл?

А так, да, включите модуль Devel и пройдитесь по сайту.

Можете поставить еще https://www.drupal.org/project/boost, снизит нагрузку на базу данных.

_
На сайте с 24.03.2008
Offline
381
#9
Plazik:

Обновите PHP до 7.0-7.1 - скорость вырастет сразу.

Это если заработает хоть что-то после перехода 5->7 :)

Яб на это сильно не надеялся, хотя если везде одинаковый и последний, попытаться можно.

Ну даст переход +50% к производительности (это вряд-ли, скорее +5%).

ТСу надо +100500%... надо как-то в сторону профилирования смотреть.

Вангую, что каких-то индексов в базе нету...

ЗЫ. В целом... переехать обратно на сервер и не мучать мозг.

Доведение всего этого будет дороже оплаты сервера почти наверняка.

Plazik
На сайте с 29.07.2008
Offline
161
#10
_SP_:
Это если заработает хоть что-то после перехода 5->7 :)
Яб на это сильно не надеялся, хотя если везде одинаковый и последний, попытаться можно.

Есть сайт на Drupal 7, 260+ включенных модулей, больше года на PHP 7-7.1, проблем нет никаких.

На 7.2 тоже можно переехать, но надо будет использовать dev версию ядра https://www.drupal.org/project/drupal/issues/2947772

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий