[DRE] 연속 실패 Job 자동 일시 중지를 통한 운영 효율화 및 비용 절감

안녕하세요, 데이터 엔지니어 주형권입니다.이번 글에서는 Databricks 운영 환경의 안정성과 비용 효율을 개선하기 위해 구현한 연속 실패 Job 자동 일시중지(Pause) 파이프라인의 기술적인 구현 과정과 이를 통해 얻은 효과에 대해 공유하고자 합니다. 최근에 DRE적인 업무를 계속해서 고민하다 보니 솔직히 말해서 업무의 영역이라고 할 게 없다시피 할 정도로 너무나도 방대하고 코에 걸면 코걸이 귀에 걸면 귀걸이 느낌입니다. 챙기고자 한다면 얼마든지 챙길 수 있고, 신경 쓰지 않고자 한다면 아무런 신경도 쓰지 않아도 되는 것이 DRE의 업무가 아닐까? 생각이 듭니다. 오늘은 어쩌면 간단(?)하지만 어쩌면 굉장히 많이 도움이 될거 같은 기능을 개발한 내용에 대해서 적어보고자 합니다. 이 작업도 역시 G..