Как правильно писать лог в Redis

O
На сайте с 09.04.2018
Offline
3
428

Добрый день! Я работаю над парсером логов Apache и мне надо сохранять взятые из строк лога данные в Redis, чтобы они находились в оперативной памяти. В Redis я совсем нуб и как лучше организовать данные в базе я не знаю. После сохранения лога в Redis я буду делать статистику по полям IP, timestamp, status, query, method, response size, в потом буду делать поиск, чтобы сделать статистику по условиям. Парсер уже написан, дело за хранением в оперативке.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

Redis не очень удобный выбор для этой цели. Во-первых, логов обычно много, во-вторых, там нет аналитических функций для статистики. Смотрите в сторону ClickHouse, ElasticSearch, InfluxDB.

Вообще с логами уже все придумано за вас. См. ELK Stack (ElasticSearch, Logstash, Kibana).

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
O
На сайте с 09.04.2018
Offline
3
#2

Спасибо за совет. А с каким из этих инструментов можно наиболее быстро и просто стартануть?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий