Prometheus_Loki

Prometheus

grok_exporter

Lokiを使わなくてもエラーが発生した件数だけならgrok_exporterの結果をPrometheusに飛ばすことで検知できる。

Loki

Prometheusはアプリケーションやシステムのログを監視できないためこちらを使う。Promtailというアプリでログを収集する

設定

監視するファイルを追加する

-config.file=/etc/promtail/docker-config.yaml で指定しているファイルに

scrape_configs:
- job_name: system
static_configs:
- targets:
- localhost
labels:
job: varlogs
__path__: /var/log/*log
- job_name: app
static_configs:
- targets:
- localhost
labels:
job: applogs
__path__: /var/log/app/**/*log

LokiとPromtailを別サーバーにする

-config.file=/etc/promtail/docker-config.yaml で指定しているファイルに

clients:
- url: http://192.168.1.100:3100/api/prom/push # loki address