[Databricks] 멀티 리전 Delta Table 최적화: OPTIMIZE & VACUUM 자동화 파이프라인 구축기

📌 이 글의 핵심 요약 (Key Takeaways)멀티 리전 Databricks 환경에서 발생하는 고질적인 'Small File 문제'와 스토리지 낭비를 해결하기 위해, 메타데이터 기반으로 OPTIMIZE & VACUUM 작업을 완전히 자동화한 데이터 파이프라인 구축기입니다. 본 글에서는 수백 개의 분산된 델타 테이블 중 정리가 필요한 대상 테이블을 자동으로 판별하는 동적 메타데이터 관리 기법, 데이터 유실 없이 디스크 용량을 확보하는 안전한 VACUUM 자동화 아키텍처, 그리고 멀티 리전 간의 효율적인 배치 최적화 노하우를 실무 코드와 함께 다룹니다. 안녕하세요. 주형권입니다.최근 Databricks 환경을 운영하면서 피할 수 없는 숙명과도 같은 문제를 마주했습니다. 바로 데이터 엔지니어들의 영원한 ..

• format_list_bulleted Databricks
• · 2026. 6. 19.
• textsms

[공통] 데이터엔지니어링팀의 계획 - 중기편 (3~N년)

[공통] 데이터엔지니어링팀의 계획 - 단기 편 (0~2년) [공통] 데이터엔지니어링팀의 계획 - 단기편 (0~2년)어느 조직이든 간에 계획은 중요한 요소 중에 하나입니다. 데이터엔지니터링을 맡는 팀 역시 계획이 중요하긴 마찬가지입니다. 어느 부서건 비전과 계획을 수립하고 그에 맞게 일을 가져가고burning-dba.tistory.com 지난 단기편에 이어서 중기 편을 이어가려고 합니다. 만약 여러분이 단기 과정을 어느 정도 끝냈다면 이제부터는 중반에 접어들었을 것이라고 봅니다. 기존의 데이터가 없는 환경에서 이제 플랫폼을 이용하여 무엇을 할 수 있는 단계에 이르렀다고 생각됩니다. 이것은 엄청난 도약입니다. 데이터 없이 경험과 감으로 일하던 환경에서 이제는 사실 기반으로 데이터와 수치를 기반으로 업무를 ..

• format_list_bulleted 공통
• · 2025. 11. 13.
• textsms

[공통] 데이터엔지니어링팀의 계획 - 단기편 (0~2년)

어느 조직이든 간에 계획은 중요한 요소 중에 하나입니다. 데이터엔지니터링을 맡는 팀 역시 계획이 중요하긴 마찬가지입니다. 어느 부서건 비전과 계획을 수립하고 그에 맞게 일을 가져가고 비전에 파생되는 계획을 단/중/장기적으로 실천하는 일이 필요합니다. 비전과 계획이 별거 아닌 것 같지만 이것이 없으면 팀원들은 팀 비전에 대해서 의구심을 느낄 수 있으며 불안감이나 또는 보람을 느끼지 못할 수 있습니다. 그렇기 때문에 비전과 계획은 굉장히 중요한것 같습니다. 이번 글에서는 비전 이야기보다는 실질적인 계획에 대해서 이야기해보고자 합니다. 목표라고 할 수도 있겠네요. 사실 비전은 팀마다 정하기 나름이고 회사의 기조에 따라서 많이 달라질 것 같기에 비전에 대해서 다루지 않고 데이터엔지니어링 팀의 계획에 대해서만 ..

• format_list_bulleted 공통
• · 2025. 10. 14.
• textsms

[공통] 나혼자 데이터환경 구성 - 제 3부

안녕하세요. 주형권입니다.2부에서 3부로 넘어오는 시간이 조금 길었습니다. 개인적인 일이 매우 많아서 글 쓸 시간이 없다 보니 3부를 시작하는데 시간이 오래 걸렸습니다. 3부는 본격적으로 데이터를 데이터 환경을 구성하는 실제 개발 과정에 대한 경험과 방법에 대해서 다루려고 합니다. 물론 자세한 코드나 기법에 대해서는 부족 할 수 있으나 어느 정도 고민 하는 부분을 해결해주는 수준에서는 큰 도움이 될 것 같습니다. 그리고 3부에 들어가기 앞서 2부의 내용을 한번 더 숙지하고 비교하면서 읽어 보시면 아주 큰 도움이 될 것 같습니다.  [공통] 나혼자 데이터환경 구성 - 제 2부안녕하세요. 주형권입니다. 제1부 - warming-up에 이어서 두 번째 이야기입니다. 두 번째 이야기는 데이터 환경을 구성하기 ..

• format_list_bulleted 공통
• · 2024. 4. 9.
• textsms