모니터링을 구축한 지 한 달쯤 지나면 알림 메일을 자동 분류로 보내버리게 됩니다. 그 순간 모니터링은 없는 것과 같아집니다.
문제
알림이 많으면 진짜 장애가 그 안에 묻힙니다.
- 중요한 알림과 단순 변동이 같은 경로로 옴
- 새벽에 울려도 아무도 안 일어남
- 한 건의 장애가 수십 개의 알림을 생성
- 담당자가 알림을 자동 분류로 넘김
원인
처음 설정한 기본 임계값을 그대로 두었기 때문입니다. 기본값은 이 현장의 평상시 값을 모릅니다.
- 평상시 값을 관찰하지 않고 임계값을 정함
- 야간과 주간을 구분하지 않음
- 상위 장애와 하위 장애를 묶지 않음
해결책
항목을 줄이는 것이 아니라, 사람을 부를 알림만 남기는 것입니다.
- 2~4주간 평상시 값을 모아 기준선을 다시 설정
- 업무 시간과 야간의 임계값을 분리
- 알림을 즉시 조치와 다음날 확인 두 등급으로 나눔
- 상위 장애가 있으면 하위 알림은 묶어서 한 건으로 발송
- 일정 시간 이상 지속될 때만 울리도록 지연 조건을 둘
- 월 1회 오탐 건수를 집계해 임계값을 재조정
현장에서 확인할 것
- 하루 평균 알림 건수
- 그중 실제 조치로 이어진 비율
- 야간 알림의 종류와 빈도
- 알림별 담당자가 정해져 있는지
좀 더 보는 것이 아니라 덜 보게 만드는 것이 목표입니다.