[Grafana] 도커 컨테이너의 실시간 사용률을 그라파나로 모니터링하기(feat. Cadvisor exporter)

회사에서 그라파나를  사용하여 운영 서버의 모니터링을 하고 있다.

 

node exporter로 운영 서버의 리소스를 모니터링을 매일 하고 있는데, 메모리나 디스크 사용량이 급증했을 때 실제로 어떤 도커 컨테이너가 영향을 주는지 바로 알고 싶었다. (현재 모든 프로세스가 다 도커 컨테이너로 실행되고 있다)

 

실제로 그라파나에서 확인하기를 메모리가 10%가 증가했는데, 도대체 어떤 친구가 메모리를 10% 먹은거야?! ㅡ.ㅡ 싶어서 서버 로그를 sar 등 명령어로 뒤져봐도 명확하지 않았고 저번주 로그는 찾기도 어려웠다 ㅠㅠ 어려운 디버깅 .....💢

 

그래서 실시간으로 도커의 사용량을 적재하고 모니터링 하고 싶었다...!

 

찾아보니 도커 컨테이너의 메트릭을 추출해주는 cadvisor 라는 익스포터가 있었고, 바로 적용해서 그라파나와 연동해봤다.

 

cadvisor 컨테이너를 띄우고 프로메테우스에 타겟을 기록한 다음, 그라파나에 해당 템플릿을 import하기만 하면 된다. 하나씩 정리해보겠다. 

 

1. cadvisor 컨테이너 기동

docker run \\
  --volume=/:/rootfs:ro \\
  --volume=/var/run:/var/run:ro \\
  --volume=/sys:/sys:ro \\
  --volume=/var/lib/docker/:/var/lib/docker:ro \\
  --publish=8080:8080 \\
  --detach=true \\
  --name=cadvisor \\
  google/cadvisor:latest

 

 

2. 그라파나 설정 파일에 타겟 추가

프로메테우스를 도커로 띄웠기 때문에 docker 컨테이너 안으로 들어가서 prometheus.yml에 타겟을 아래와 같이 추가하고 재시작해준다. 

docker exec -it prometheus bash
vi /opt/bitnami/prometheus/conf/prometheus.yml

scrape_configs:
  - job_name: 'cadvisor'
    static_configs:
      - targets: ['{서버아이피}:{포트}']

docker restart prometheus

 

 

전체 prometheus.yml 참고

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["192.168.2.54:9090"]

  # add10
  - job_name: "cadvisor_1"
    static_configs:
      - targets: ["192.168.2.54:8080"]
      
  # add11
  - job_name: "cadvisor_2"
    static_configs:
      - targets: ["192.168.2.55:8081"]

  # add12
  - job_name: "cadvisor_3"
    static_configs:
      - targets: ["192.168.2.53:8080"]

  # add13
  - job_name: "cadvisor_4"
    static_configs:
      - targets: ["192.168.2.52:8080"]
      
  # add14
  - job_name: "cadvisor_5"
    static_configs:
      - targets: ["192.168.2.51:8080"]

 

 

prometheus UI (http://{프로메테우스URL}:9090/) 에 들어가서 Graph로 들어가면 아래와 같이 메트릭을 확인할 수 있다. 검색도 가능.

 

 

3. 그라파나 연동

 

cadvisor exporter 템플릿은 아래 대시보드 템플릿을 사용했다. 템플릿 ID 는 14282이고, import 로 추가했다. 

https://grafana.com/grafana/dashboards/14282-cadvisor-exporter/

Cadvisor exporter | Grafana Labs

 

 

디스크 사용량은 없어서 직접 메트릭을 추가하여 모니터링 UI를 완성했다. 

 

WOW..!

 

실시간으로 도커 컨테이너 들의 리소스 사용량이 실시간으로 표시된다. 

이제 특정 시간에 어떤 컨테이너가 이상상태에 있었는지 원인을 빠르게 파악할 수 있을 것 같다. (감격😭)

디버깅이 한결 쉬워질 것 같다. 

 

동료들도 너무 좋다며 좋아했다ㅎㅎㅎ

 

Cadvisor exporter 완전 추천~~