AC/DC

2023.09 ~ 2024.11

문제점

• Saltstack을 사용한 단일 코드로 인프라를 관리
• 리전 증가에 따른 코드 검증 workload 증가, 결과적으로 낮은 생산성 야기
• 검증되지 않은 변경사항으로 인한 시스템 장애 발생

해결 방법

• 모든 Salt master 서버를 self hosted runner로 등록
• PR이 등록되면 변경사항을 파싱, 적절한 리전과 서버를 대상으로 배포 코드 Dry Run
• 결과를 hashing 해서 GUI 기반으로 공통된 변경사항을 용이하게 확인할 수 있도록 가공
• 코드 검증뿐만 아니라, Github Actions workflow dispatch로 직접 배포할 수 있도록 고도화

구조

기술 스택

• Python, Shell Script
• Github Actions

도전

기존 방식에 익숙한 사람은 새로운 것을 받아들이는 것에 거부감을 느낄 때가 있습니다.
클라우드 사업 성격상 장애와 가용률에 민감하기 때문에, 배포라는 업무를 자동화하는 것에 대해 리더들은 보수적인 의견을 갖게 됩니다.
이 과정에서 자동화의 필요성과 효율성에 대해 지속적으로 소통하며 설득하고 결과로 증명하는 것이 개인적으로는 매우 큰 도전이었습니다.
올바른 사용 사례를 공유하고 객관적인 수치로 기존 방식보다 몇 퍼센트의 효율을 가지는지, 팀원들을 대상으로 설문조사와 기술 공유회를 개최하는 등의 노력을 기울였습니다.

결과적으로 팀원들 모두가 배포 파이프라인을 사용하게 된 이후, 자동화된 작업이 수동 작업보다 안전하다는 것을 리더에게 설득할 수 있었습니다.
결과적으로는 Staging 환경에서 충분한 검증을 거치고 Production 레벨까지 CI/CD 워크플로우를 도입할 수 있었습니다.

결과

• 배포 코드 검증에 필요한 팀 전체의 업무 시간을 주당 50시간 이상 감소
• 워크플로우 도입 후 6000회 이상의 Job 수행 (주당 60 ~ 100회 이상)
• CLI가 아닌 GUI 기반의 배포로 팀 내 표준 절차 변경
• 검증된 효율성과 안정성으로 Production 환경의 배포에 적용

기여도

• CI/CD 워크플로우 설계 및 개발 (100%)
  • Artifact, Secrets, Markdown summary 등 Github Action native하게 워크플로우 개발
  • Environment 필드를 사용해 Staging / Production 배포 단계 구분
  • Schdule Job, Workflow dispatch 기능을 제공해 여러 방식으로 코드를 검증할 수 있도록 개발
• 코드 검증 결과를 취합, 요약해 보여줄 수 있는 Python 스크립트 개발 (40%)
  • Git diff 기반으로 코드 변경사항을 파싱해 어느 리전의 서버를 대상으로 검증할지 확인하는 코드 개발
  • 배포 결과의 hash 값을 비교해 동일한 변경사항을 하나의 단위로 조회할 수 있도록 간소화