[SMTP] 서버 리소스 경고 메일 전송 설정하기

서버에서 디스크가 모두 차는 경우 또는 메모리가 모두 차는 경우 (OOM에러) 가 왕왕 발생한다.

현재 리소스 모니터링으로 사용하고 있는 Grafana 대시보드이다.

 

위 대시보드로 매일매일 그라파나 모니터링은 하고 있으나, 그라파나가 익숙하지 않은 동료들을 위해서 회사 사내 메일로 리소스 경고 메일을 보내는 설정을 해보기로 했다.  Gmail SMTP를 이용하여 진행했다. 

---

1. Gmail SMTP 설정 및 mailx 설치 

Gmail SMTP 설정이 필요하다. 아래 블로그를 참고했다. 

https://hyunmin1906.tistory.com/276

[Go] Google Gmail SMTP 설정 방법 및 메일 전송

 

mailx 설치

CentOS 8에서 mailx를 설치했다. 

sudo dnf install mailx

 

SMTP 설정 파일 편집

/etc/mail.rc 파일에 Gmail SMTP 설정을 추가해야한다.

# Gmail SMTP 설정
set smtp=smtp://smtp.gmail.com:587
set smtp-auth=login
set smtp-auth-user=sales.test@gmail.com    # Gmail 계정
set smtp-auth-password=asdfasdfasdf        # Gmail 앱 비밀번호
set smtp-use-starttls
set from="sales.test@gmail.com"           # 발신 이메일
set ssl-verify=ignore                     # SSL 인증 무시 (필요 시 추가)

 

---

2. 디스크 사용량 확인 스크립트 작성

디스크 사용량을 확인하고 특정 임계값 이상일 때 Gmail로 알림을 보내는 스크립트를 작성한다.

스크립트 예제 (disk_alert.sh)

cd /app/test/alarm
vim disk_alert.sh

 

간단한 경로에 간단한 스크립트를 작성했다. 

#!/bin/bash

# 설정
DISK_THRESHOLD=80                  # 디스크 사용량 임계값 (%)
MEMORY_THRESHOLD=90                # 메모리 사용량 임계값 (%)
EMAIL="sales.test@gmail.com,testtest@daum.co.kr"  # 알림을 받을 이메일 주소
MESSAGE="/tmp/resource_alert.txt"

# 디스크 사용량 확인 (마운트 포인트 / 만 확인)
df -h | awk '$6 == "/" {print $5 " " $6}' | while read output; do
  usage=$(echo $output | awk '{print $1}' | sed 's/%//') # 퍼센트 제거
  mount=$(echo $output | awk '{print $2}')

  echo "현재 디스크 사용량: ${usage}%"  # 디버깅 메시지

  if [ $usage -ge $DISK_THRESHOLD ]; then
    SUBJECT_DISK="[WARNING] System Resource Alert (192.168.2.53 | DISK ${usage}%)"
    echo -e "경고: 디스크 사용량이 임계값(${DISK_THRESHOLD}%)을 초과했습니다.\\n" > $MESSAGE
    echo -e "디스크 사용량: ${usage}%\\n마운트 위치: ${mount}" >> $MESSAGE
    echo "디스크 경고 이메일 전송 중..."
    mailx -s "$SUBJECT_DISK" "$EMAIL" < $MESSAGE
  fi
done

# 메모리 사용량 계산 (total에서 available 빼기)
memory_info=$(free | awk '/Mem:/ {print $2, $7}') # total과 available 추출
total_memory=$(echo $memory_info | awk '{print $1}')
available_memory=$(echo $memory_info | awk '{print $2}')
used_memory=$((total_memory - available_memory))  # 사용 중 메모리 계산
memory_usage=$((used_memory * 100 / total_memory)) # 사용량 비율 계산 (%)

# 메모리 단위를 KB -> GB로 변환
total_memory_gb=$(awk "BEGIN {printf \\"%.2f\\", $total_memory / 1024 / 1024}") # GB로 변환
used_memory_gb=$(awk "BEGIN {printf \\"%.2f\\", $used_memory / 1024 / 1024}")   # GB로 변환

echo "현재 메모리 사용량: ${memory_usage}%"  # 디버깅 메시지

if [ $memory_usage -ge $MEMORY_THRESHOLD ]; then
  SUBJECT_MEMORY="[WARNING] System Resource Alert (192.168.2.53 | MEMORY ${memory_usage}%)"
  echo -e "경고: 메모리 사용량이 임계값(${MEMORY_THRESHOLD}%)을 초과했습니다.\\n" > $MESSAGE
  echo -e "총 메모리: ${total_memory_gb}GB\\n사용 중 메모리: ${used_memory_gb}GB\\n사용률: ${memory_usage}%" >> $MESSAGE
  echo "메모리 경고 이메일 전송 중..."
  mailx -s "$SUBJECT_MEMORY" "$EMAIL" < $MESSAGE
fi

---

3. 스크립트 실행 권한 부여

스크립트에 실행 권한을 부여하기

chmod +x disk_alert.sh

---

 

4. 크론탭에 등록하여 주기적으로 실행

이 스크립트를 정기적으로 실행하려면 cron에 등록해야한다.

crontab -e

 

다음 라인을 추가하여 30분마다 실행되도록 설정했다. (너무 짧게 하면 메일 폭탄맞을 것 같아서..)

*/30 * * * * /app/test/alarm/disk_alert.sh

---

5. 테스트

스크립트를 수동으로 실행하여 Gmail 알림이 제대로 오는지 확인한다. 

./disk_alert.sh

테스트 성공 !!! 😊

리소스 임계치가 넘어갈 경우 사내 메일함으로 메일이 온다.

---

추가 정보!

1. Gmail 발송 한도: Gmail은 하루 500개의 이메일 발송 제한이 있습니다. 이를 초과하면 이메일 발송이 차단될 수 있다고 한다. 
2. 메일 로그 확인: 문제가 발생하면 /var/log/maillog를 확인하여 디버깅할 것!
   

 

회사 동료들이 너무 좋아한 메일 알람 설정! 매번 전전긍긍하며 Grafana를 들여다 볼 필요도 없고, 집에 있을 때도 서버 문제를 바로바로 알 수 있다.

 

뿌듯 😊👍