장애 전화를 받으면 손부터 움직이게 됩니다. 그랬다 정작 중요한 증거를 지우고, 나중에 원인을 못 찾는 일이 생깁니다.
문제
급한 마음에 재부팅부터 하면 대부분 서비스는 돌아오지만 원인은 사라집니다. 같은 장애가 다음 달에 또 나면 그때는 처음부터 다시 시작해야 합니다.
- 재부팅으로 휘발성 로그와 메모리 상태가 사라짐
- 누가 언제 무엇을 했는지 기록이 없어 중복 작업
- 사용자 증상과 서버 증상을 구분하지 못함
- 원인 미상으로 종결되고 재발
원인
초기 대응 순서가 사람 머리에만 있기 때문입니다. 급할 때는 순서가 무너지고, 새벽에 전화를 받은 사람이 익숙한 장비가 아니면 더 그렇습니다.
- 장애 유형별 1차 조치 절차가 문서로 없음
- 어떤 로그를 먼저 받아두어야 하는지 정해져 있지 않음
- 연락 순서와 에스컬레이션 기준이 없음
해결책
처음 15분은 고치는 시간이 아니라 남기는 시간입니다. 순서를 종이 한 장으로 만들어 랜 옆에 붙여 두십시오.
- 증상을 사용자 말 그대로 받아 적고 발생 시각을 박음
- 어디까지 되고 어디부터 안 되는지 범위를 좁힘
- 재부팅 전에 원격 관리 로그와 이벤트 로그를 먼저 내려받음
- 화면에 뜼 오류 메시지는 사진으로 남김
- 조치한 내용을 시각과 함께 한 줄씩 기록
- 15분 안에 복구가 어려우면 보고하고 지원을 요청
현장에서 확인할 것
- 증상과 발생 시각을 적었는지
- 재부팅 전에 로그를 확보했는지
- 범위가 한 대인지 여러 대인지
- 언제 누구에게 에스컬레이션할지 정해져 있는지
복구보다 기록이 먼저입니다. 기록이 있어야 두 번째 장애를 막을 수 있습니다.