패치는 미루면 위험하고 막 하면 서비스가 멈춥니다. 그래서 대부분 사고 없기를 바라며 밀리게 됩니다.
문제
정해진 창이 없으면 패치는 결국 사고가 난 뒤에만 이루어집니다.
- 몇 달치 패치가 밀려 한꺼번에 올리다가 문제 발생
- 재부팅 후 서비스가 안 올라왔는데 아침에야 발견
- 누가 어느 서버를 맡는지 매번 다시 정함
- 작업 내역이 남지 않아 원인 추적이 어려움
원인
패치를 일회성 작업으로 보기 때문입니다. 정기 일정으로 바꾸면 준비도 검증도 루틴이 됩니다.
- 중단 허용 시간이 부서와 합의되지 않음
- 작업 순서와 복귀 확인 목록이 없음
- 되돌리는 기준이 정해져 있지 않음
해결책
월 1회 고정 창을 만들고 그 안에서만 움직입니다.
- 매월 같은 요일·같은 시간으로 창을 고정하고 사전 공지
- 서버 순서를 미리 정하고 중요도가 낮은 것부터 진행
- 클러스터는 노드를 비우고 순차 재부팅
- 재부팅 후 확인할 서비스 목록을 체크리스트로 준비
- 정해둔 시각까지 끝나지 않으면 되돌리는 기준을 명시
- 아침 업무 시작 전에 결과를 한 장으로 보고
현장에서 확인할 것
- 창이 일정으로 고정되어 있는지
- 서버별 작업 순서가 정해져 있는지
- 복귀 확인 목록이 있는지
- 되돌리는 기준 시각이 정해져 있는지
고정된 창은 일을 늘리는 것이 아니라 갑작스러운 일을 줄입니다.