[DRE] Databricks 감사 로그 기반 데이터 거버넌스 자동화 시스템 구현

📌 이 글의 핵심 요약무슨 문제인가: Databricks 글로벌/멀티 테넌트 환경을 운영하면서 비인가자의 접근, 불필요한 퍼스널 토큰 남용, 보안 취약점 노출을 수동으로 일일이 감시하기 어려웠음.어떻게 해결했나: Databricks가 생성하는 시스템 감사 로그(Audit Log)를 자동으로 수집·적재하고, Python API와 Teams 알림을 연동하여 비인가 접근 및 보안 위협을 실시간으로 감지하는 데이터 거버넌스 자동화 시스템을 구축함.무슨 효과를 얻었나: 보안 감사(Audit) 업무를 100% 자동화하여 리소스를 제로화하고, 개인정보(PII) 유출 및 비인가 토큰 사용 등 데이터 플랫폼의 보안 위협을 실시간으로 철통 방어함.안녕하세요, 주형권입니다. 정말 오랜만에 블로그로 인사 드립니다.그동안 밀..

• format_list_bulleted Data Reliability Engineering
• · 2026. 5. 28.
• textsms

[Teams] Python에서 Power Automate Workflow을 이용한 Teams 메시지 전송

안녕하세요. 주형권입니다. 최근에 Python을 통해서 특정 상황에서 Teams 채널에 메시지를 전송 할때 다음과 같이 알림이 발생하여 다른 방법으로 보내는 방법을 찾는 과정을 정리하였습니다. 이 방법이 정확한 방법은 아닌거 같으나, 일단 메시지가 없이 잘 보내져서 방법을 공유 합니다. 더욱 좋은 방법이 있으신 분은 댓글을 부탁 드립니다. 우선 Learn More을 눌러서 들어가면 기존에 Webhook은 종료되는거 같습니다. Teams webhook 종료 그래서 새로운 방법을 찾아야 하는데, 그 방법이 Power Automate Workflow로 보입니다. 근데, 읽어봐도 도통 무슨 이야기인지 잘 모르겠고... Python에서 어떻게 콜해야 하는지 전혀 모르겠습니다... 기존에는 다음과 같이 python..

• format_list_bulleted 공통
• · 2024. 7. 11.
• textsms

Python에서 BigQuery Query 실행 시 오류

안녕하세요. Python을 통해서 BigQuery에 Query를 실행하여 결과 값을 이용하려고 할 때 오류가 발생하였습니다. 무슨 코드를 날렸지? query_job = self.bigquery.query( f""" SELECT col1,col2,col3 FROM table WHERE date = {self.date} """ ) results = query_job.result() cs 위와 같이 매우 단순한 코드를 만들었습니다. Query를 BigQuery에 날려서 결과값을 가져와서 저장하고 이를 활용하고자 하였습니다. 오류 내용 google.api_core.exceptions.BadRequest: 400 No matching signature for operator = for argument types:..

• format_list_bulleted GCP/BigQuery
• · 2021. 6. 4.
• textsms

python google cloud storage download error - Request failed with status code 404

python을 이용하여 google cloud storage에서 파일을 다운로드 받을때 다음과 같이 오류가 발생하는 경우가 있습니다. python의 코드를 이용하여 실행하였는데, Google 공식 사이트에 안내된 스크립트를 이용하였는데, 오류가 발생합니다. URL : cloud.google.com/storage/docs/downloading-objects?hl=ko#code-samples 객체 다운로드 | Cloud Storage | Google Cloud 이 페이지에서는 Cloud Storage 버킷에서 객체를 다운로드하는 방법을 설명합니다. 객체에 대한 개요는 핵심 용어를 참조하세요. 참고: 객체에 고객 제공 암호화 키를 사용하는 경우 고객 제공 암호 cloud.google.com 아래의 코드를 그대..

• format_list_bulleted GCP/GCS
• · 2020. 9. 4.
• textsms

python3 - not all arguments converted during string formatting

python을 이용하여 개발하던 도중에 다음과 같은 오류가 발생하여 찾던 도중에 모든 방법이 안되서 겨우 겨우 찾아서 해결 방법을 공유 합니다. 오류 내용 not all arguments converted during string formatting 위와 같이 오류가 발생하였습니다. 위의 오류 발생 구간은 mysql 에 데이터를 넣는 부분이였습니다. 분명히 잘되던게... 갑자기 안되서 당황하였는데요. google에 검색하면 여러가지 내용이 나옵니다. https://stackoverflow.com/questions/21740359/python-mysqldb-typeerror-not-all-arguments-converted-during-string-formatting Python MySQLdb TypeEr..

• format_list_bulleted ETC/Programming
• · 2019. 11. 21.
• textsms

AWS monitoring - Cloud Watch 기반 CPU 10%미만 EC2 정보 수집

글을 읽기에 앞서 해당 코드는 python 및 개발 지식이 없는 제가 직접 만든 코드 입니다. 개발자 분이 보시기에 많이 이상 할 수 있습니다. 최적화가 되어 있지 않으며, 코드를 보기에 불편 할 수 있는 점 양해 부탁 드립니다. 1. 수집 조건 Cloud Watch 상에서 하루 평균 CPU가 10%를 넘지 못하는 경우 수집 limit를 조정 가능 합니다. 코드를 수정하면 MAX / MIN으로도 수정 가능 합니다. spot EC2를 수집 하지 않습니다. 2. 수집 내역 아래의 컬럼명은 수정이 가능하며, 기호에 맞게 사용 부탁 드립니다. 계속해서 수정하다 보니 수집하는 명칭이 이상할 수 있습니다. account : AWS 계정명 isinstance_id : EC2의 Instance ID InstanceTy..

• format_list_bulleted AWS/운영관련 개발
• · 2019. 11. 10.
• textsms