[Databricks] DELTA_DELETION_VECTOR_SIZE_MISMATCH

안녕하세요. 주형권입니다. 이번에 아주 커다란(?) 장애를 겪고 글을 작성하였습니다. Databricks를 쓰면서 처음 겪는 장애였고, 무엇보다 관련 자료가 전무한 상황이라서 굉장히 해결에 어려움을 겪었습니다. 결론부터 말씀 드리면 Databricks의 버그입니다. 결국 CASE를 열어서 본사의 Back-end 엔지니어가 장애를 해결해줬습니다.⚠️ 문제 발견 저희는 DELETE를 하는 작업이 있습니다. 그런데 어느 날 다음의 ERROR가 나오면서 DELETE가 실패하는 증상이 나타났습니다.  메시지는 다음과 같습니다.[DELTA_DELETION_VECTOR_SIZE_MISMATCH] Deletion vector integrity check failed. Encountered a size mismatch...