[Infra] MySQL 자동 복구 및 백업 시스템 구축 (1) - 상황 및 원인 분석

나는 현재 게임 프로젝트의 서버를 담당 하고 있다. 게임 서버의 특성 상 항상 안정적으로 서버가 잘 돌아가야 하는데 어느샌가 부터 서버에 함께 올려둔 mysql이 주에 2~3회씩 Exited되는 상황이 벌어졌다...

 

 즉각적인 해결을 위해 나는 자동 복구와 자동 백업 스크립트를 사용하기로 했다!

 

이번 글에서는 문제 상황과 원인을 정리해보려 한다.

---

🧐문제 상황은?

• MySQL 서버가 주 평균 2~3회 잦은 중단 및 서비스 불가 상태
• MySQL 서버가 다운될 시 수동 복구로 인해 평균 30분의 긴 다운 타임 발생 → 서비스 가용성 저하
• 백업 및 복구 절차가 자동화되지 않아 중단 시 데이터 손실 위험 증가
• 서버 다운 시 담당자가 알 수 없음

위 상황들이 큰 문제였다.

 

🧐원인 분석은?

1. 메모리 누수 및 프로세스 충돌

• MySQL의 메모리 누수 및 프로세스 충돌로 인해 서버가 예상치 못한 시점에 다운

2. 불완전한 오류 처리

• MySQL의 기존 오류 처리 방식이 불충분하여 서버가 중단

3. 백업 시스템 미비

 

 

 

위 3가지를 문제의 원인이라 파악하고 해결을 위해 자동 복구 및 실행, 백업 시스템을 구축하기로 했다!!

 

다음 글에는 자동 백업 파일 생성 스크립트 작성에 대해 적어보려 한다 :)