[Grafana] Slack 알림 생성하기 + 알림 메시지 커스텀

0. 슬랙 웹후크 URL 미리 생성하기

슬랙 채널을 생성하고, 웹후크 URL 을 미리 생성해야 한다.

1. Contack Points의 Notification Templates 생성하기 (메시지 커스텀)

먼저, 슬랙 메시지를 예쁘게 받아보기 위한 커스텀 템플릿을 만들어 보자. 커스텀이 필요없는 사람은 생략해도 된다. 

 

템플릿 이름을 작성하고, 템플릿 코드를 넣어준다. golang 문법으로 되어있어서 초반엔 조금 헤맸다.. 

 

제목 템플릿

{{ define "custom.alert_title" -}}
  {{ if gt (len .Alerts.Firing) 0 }}
  🚨 긴급 알람 발생! 🚨
  {{ else if gt (len .Alerts.Resolved) 0 }}
  ✅ 해결
  {{ end }}
{{ end }}

 

 

내용 템플릿

{{ define "custom.firing_and_resolved_alerts" -}}
  {{ if gt (len .Alerts.Resolved) 0 }}

  ✅ {{ len .Alerts.Resolved }}개의 알람이 해결되었습니다.
  {{ range .Alerts.Resolved -}}
    {{ template "alert.summary_and_description" . -}}
  {{ end }}
  {{ end }}

  {{ if gt (len .Alerts.Firing) 0 }}
  🔥 {{ len .Alerts.Firing }}개의 알람이 발생했습니다!
  {{ range .Alerts.Firing -}}
    {{ template "alert.summary_and_description" . -}}
  {{ end }}
  {{ end }}
{{ end }}

{{ define "alert.summary_and_description" }}
  📌 상태: {{ .Status }}
  🚨 알람 이름: {{ .Labels.alertname }}
  ⚡ 알람 요약 : {{.Annotations.summary}}
  🖥️ 인스턴스: {{ .Labels.instance }}
  📃 상세 정보:
   {{ .ValueString }}
  🔗 확인하기: {{ .GeneratorURL }}

{{ end }}

 

 

2. Contact Points 생성

알람을 어디로 보낼지 지정하는 부분. 여기서 알람의 템플릿도 지정하며 꾸밀 수 있다.

Name, Webhook URL 입력

 

만들어둔 Notification Templates 적용 

 

 

 

3. Alert rules 생성

제일 중요한 알람 규칙 생성. 리소스 별로 따로 따로 생성해야한다.

원하는 매트릭을 뽑아서 어떤 규칙에 걸리면 알람을 보낼 지 조건을 생성.

 

 

 

총 3개의 쿼리를 사용하여 알람 설정을 할 예정이다. 

 

1) 디스크 알람

(
  node_filesystem_size_bytes{mountpoint="/etc/hosts"}
  - node_filesystem_avail_bytes{mountpoint="/etc/hosts"}
) 
/ 
node_filesystem_size_bytes{mountpoint="/etc/hosts"} 
* 100

2) 메모리 알람

((node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes) * 100

 

 

3) CPU 알람

sum by (instance) (rate(node_cpu_seconds_total{mode="user"}[30s])) * 100

 

아래 Select metric 에 직접 쿼리를 입력하면 된다.  일단 포스팅은 디스크 알람으로만 진행한다. 

 

 

우측 상단의 Run queries 를 클릭하면 아래 Table에 현재 가지고 있는 서버들과 디스크 사용율이 뜨게 된다. 

 

 

알람 규칙을 설정하려면 임계값(Threshold) 도 필수로 설정을 해주어야 한다. 현재 서버가 5대가 있는데, 디스크 사용율이 모두 낮기 때문에 테스트를 위해 20%가 넘으면 알람을 받도록 했다. 

 

 

Folder와 Evaluationi group은 적당히 만들어서 지정해주고,

Pending Period는 "임계값을 충족했을 때 즉시 알람을 보내지 않고 일정 시간 동안 유지될 경우에만 알람을 트리거하는 기능”이다. 예를 들어, 5분이라고 하면 5분 동안 이 상태를 유지해야 알람을 보내겠다는 말이다. 나는 1분으로 지정했다.

 

2번에서 만들어둔 컨택 포인트를 넣어준다. 

 

슬랙에서 알림을 받을 때 보기 좋도록 알림의 성격을 Summary 및 Description 에 적어준다. 나는 Summary만 적었다. 

 

이 정도만 하고 저장.

 

 

 

 

4. Notification policies 생성

1번에서 생성한 컨택 포인트를 연결하고, 알림 규칙을 생성한다. 얼마 간격으로 알람을 보낼 것인지 설정하는 것이다.

 

편집을 누른다. (원래부터 편집이었는지, 생성을 해줬었는지는 기억이 잘 안나지만 기존 정책이 없다면 생성을 해주길 바란다.)

 

 

Timing options를 클릭하면 Group interval, Repeat interval 이 있다. 아래 표로 구분해 놓았다. 

나는 일단 테스트를 위해 간격을 짧게 잡아두었다. 참고로 Repeat interval 기본값은 4시간이다. 

옵션	설명
Group wait	새 알람 그룹이 처음 감지된 후 기다리는 시간
Group interval	같은 그룹의 알람이 업데이트될 경우 알람을 보내는 간격
Repeat interval	같은 알람이 지속될 경우 반복해서 알람을 보내는 간격

 

 

감격의 슬랙 알람 !!! 예쁘게 잘 온다. 프로젝트 팀원들에게도 공유하여 시스템 상태를 수시로 알 수 있도록 했다. 

 

 

서버를 다루면서, 모니터링이 참 중요하다는 것을 절실히 깨닫는다. 매일매일 그라파나 모니터링을 하고 SMTP 이메일 설정도해서 디스크와 메모리 사용률을 보고 받지만 더 안전하게 모니터링을 하기 위해 그라파나 슬랙 연동도 해보았다. 

 

앞으로는 디스크 FULL, 메모리 FULL 같은 에러 상황을 미연에 방지하고 철저히 서버 관리를 할 예정이다.