디스크가 찼다는 연락을 받고 가 보면 로그가 수십 기가인 경우가 흔합니다. 그러면 지우기 쉬운데, 그때 장애 단서도 같이 사라집니다.
문제
로그를 관리하지 않으면 두 가지 문제가 번갈아 생깁니다.
- 로그가 디스크를 채워 서비스가 멈춤
- 급한 마음에 지우고 나면 원인 분석 근거가 없어짐
- 보관 기간이 짧아 몇 주 전 기록을 못 봄
- 감사에서 요구하는 보관 기간을 못 맞춤
원인
로그 보관 기준이 없기 때문입니다. 기본값 그대로 두면 서비스마다 보관 기간이 제각각입니다.
- 응용프로그램이 자체 경로에 로그를 쌓음
- 로그 로테이션 설정이 일부 서비스에만 적용됨
- 로그용 공간을 따로 분리하지 않음
해결책
보관 기간을 먼저 정하고, 그에 맞춰 공간을 나눕니다.
- 업무 요구와 감사 기준으로 보관 기간을 결정
- 로그 경로를 별도 파티션이나 볼륨으로 분리
- 모든 서비스에 로테이션과 압축을 적용
- 중요 로그는 별도 서버로 보내 보관
- 로그 공간 사용률을 감시 항목에 추가
- 지울 때는 압축본을 보관한 뒤 삭제
현장에서 확인할 것
- 서비스별 로그 보관 기간
- 로그가 루트 파티션을 쓰고 있는지
- 로테이션이 적용되지 않은 경로가 있는지
- 감사가 요구하는 보관 기간
로그는 평소에는 짐이고 사고 때는 유일한 증거입니다.