master_klavi

Рейтинг
82
Регистрация
28.05.2014
Aisamiery #:

вы это как то визуально проверяете или у вас в прометеус данные сыплются и вы видите зависимость скорости отдачи от графика нагрузки?

Сижу в админке. Добавляю новую инфу и т.д. В общем работаю с базой данных. И всё начинает работать медленнее. Вот нажимаешь на кнопку и нужно ждать немного. А обычно мгновенно.

jpg 2024-10-30_19-53-59.jpg
Нагрузка сервера не большая. Но при большом количестве трафика ощущается небольшая задержка. Нет мгновенной отдачи. Но никаких ошибок 502 и т.д. не было.
jpg 2024-10-30_19-02-31.jpg

ОС Debian 11

Php 7.4

mysqld  Ver 10.5.26-MariaDB-0+deb11u2-log for debian-linux-gnu on x86_64 (Debian 11)

У меня вот такие конфиги

key_buffer_size        = 128M

[mysqld]


### Persistent Connections

max_connections = 2000


### Timeouts

wait_timeout = 100

interactive_timeout = 100



### Slow Logs

long_query_time = 10

slow_query_log = 1

slow_query_log_file = /var/log/mysql/mysql-slow.log


### InnoDb

innodb_buffer_pool_size = 20G

innodb_flush_method = O_DIRECT

innodb_file_per_table = 1

innodb_page_cleaners = 8

innodb_lru_scan_depth = 4096


### Query Cache

query_cache_size = 64M


### Other

max_allowed_packet = 16M

log_error = /var/log/mysql/error.log


А чем лучше тестировать нагрузку?

Запросы легкие - вытащить инфу по какому-то определенному ID в таблице. Там где списки записей, я в целях оптимизации закешировал в html. Чтобы меньше обращений к базе было. В нужных местах подключаю файлы. Условно категория.id.html.


Движок самописный. Тяжелых запросов нет. Просто большой трафик. В пики утром и вечером. Судя по графане с прометеем, трафик доходит иногда до 100-110 Мбит/сек. Канал гигабитный. Во время бекапов это заметно. На 1 гб файлы улетают.

Delysid #:
AI сканеры и сканеры ссылок и боты.

У меня антипарсер есть. Блокирует, если превышены запросы.


Кроме этого в robots.txt



User-agent: ClaudeBot

Disallow: /


User-agent: BLEXBot

Disallow: /


User-agent: MJ12bot

Disallow: /


User-agent: dotbot

Disallow: /


User-agent: SeekportBot

Disallow: /


User-agent: AhrefsBot

Disallow: /


User-agent: Amazonbot   

Disallow: / 


User-agent: serpstatbot

Disallow: /


User-agent: GPTBot

Disallow: /


User-agent: AwarioRssBot

Disallow: /


User-agent: AwarioSmartBot

Disallow: /


User-agent: CCBot

Disallow: /


User-agent: ChatGPT-User

Disallow: /


User-agent: anthropic-ai

Disallow: /


User-agent: Omgilibot

Disallow: /


User-agent: Omgili

Disallow: /


User-agent: FacebookBot

Disallow: /


User-agent: Diffbot

Disallow: /


User-agent: Bytespider

Disallow: /


User-agent: ImagesiftBot 

Disallow: /


User-agent: cohere-ai

Disallow: /

А у Селектела как обстоят дела?  Я никогда у них не арендовал сервера.
Сервер у меня в Hetzner в Финляндии
Всего: 55