THE NICOLE🌱

회사에서 그라파나를 사용하여 운영 서버의 모니터링을 하고 있다. node exporter로 운영 서버의 리소스를 모니터링을 매일 하고 있는데, 메모리나 디스크 사용량이 급증했을 때 실제로 어떤 도커 컨테이너가 영향을 주는지 바로 알고 싶었다. (현재 모든 프로세스가 다 도커 컨테이너로 실행되고 있다) 실제로 그라파나에서 확인하기를 메모리가 10%가 증가했는데, 도대체 어떤 친구가 메모리를 10% 먹은거야?! ㅡ.ㅡ 싶어서 서버 로그를 sar 등 명령어로 뒤져봐도 명확하지 않았고 저번주 로그는 찾기도 어려웠다 ㅠㅠ 어려운 디버깅 .....💢 그래서 실시간으로 도커의 사용량을 적재하고 모니터링 하고 싶었다...! 찾아보니 도커 컨테이너의 메트릭을 추출해주는 cadvisor 라는 익스포터가 있었고, 바로..

0. 슬랙 웹후크 URL 미리 생성하기슬랙 채널을 생성하고, 웹후크 URL 을 미리 생성해야 한다. 1. Contack Points의 Notification Templates 생성하기 (메시지 커스텀) 먼저, 슬랙 메시지를 예쁘게 받아보기 위한 커스텀 템플릿을 만들어 보자. 커스텀이 필요없는 사람은 생략해도 된다.  템플릿 이름을 작성하고, 템플릿 코드를 넣어준다. golang 문법으로 되어있어서 초반엔 조금 헤맸다..  제목 템플릿{{ define "custom.alert_title" -}} {{ if gt (len .Alerts.Firing) 0 }} 🚨 긴급 알람 발생! 🚨 {{ else if gt (len .Alerts.Resolved) 0 }} ✅ 해결 {{ end }}{{ end..

서버에서 디스크가 모두 차는 경우 또는 메모리가 모두 차는 경우 (OOM에러) 가 왕왕 발생한다. 위 대시보드로 매일매일 그라파나 모니터링은 하고 있으나, 그라파나가 익숙하지 않은 동료들을 위해서 회사 사내 메일로 리소스 경고 메일을 보내는 설정을 해보기로 했다.  Gmail SMTP를 이용하여 진행했다. 1. Gmail SMTP 설정 및 mailx 설치 Gmail SMTP 설정이 필요하다. 아래 블로그를 참고했다. https://hyunmin1906.tistory.com/276 [Go] Google Gmail SMTP 설정 방법 및 메일 전송■ SMTP 간이 우편 전송 프로토콜(Simple Mail Transfer Protocol)의 약자. 이메일 전송에 사용되는 네트워크 프로토콜이다. 인터넷에서 메일..