데이터엔지니어 주형권
close
프로필 배경
프로필 로고

데이터엔지니어 주형권

  • 주형권의 포스트 (187)
    • Data Reliability Engineerin.. (6)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (16)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
  • 홈
  • 태그
  • 방명록
반응형
RDBMS 데이터 적재 시 데이터 정합성 체크

RDBMS 데이터 적재 시 데이터 정합성 체크

💁‍♂️ 들어가며 데이터를 적재하면서 가장 중요한 것은 무엇일까요? 여러가지 이유가 있겠지만 무엇보다 그 데이터가 정상적으로 잘 적재되었는지 여부 입니다. 많은 사람들이 적재를 어떻게 하면 "빠르고 효율적으로 적재 할 수 있나?" 에 초점을 많이 둡니다. 하지만 이 데이터가 정상적으로 A 👉🏻 B 들어왔는지는 많이 고민하지 않는 것 같습니다. 이 글에서는 실제로 구현한 코드를 보여주진 않습니다. (회사에서는 제가 구현을 했지만..) 컨셉을 주로 설명하며, 각자가 맞게 회사 시스템에 녹일 수 있으면 좋겠습니다. 🤷‍♂️ 어떻게 체크 할것인가? 데이터를 가공하여 계산 된 데이터를 적재하는 경우는 그 데이터가 정확하게 나온 지 여부를 확인하지만 원천 데이터에서 데이터를 가져올 경우 데이터를 맞게 가져왔는지 확..

  • format_list_bulleted Data pipeline/ETL
  • · 2021. 4. 15.
  • textsms
반응형
  • navigate_before
  • 1
  • navigate_next
전체 방문자
오늘
어제
전체
전체 카테고리
  • 주형권의 포스트 (187)
    • Data Reliability Engineerin.. (6)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (16)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
반응형
최근 글
인기 글
최근 댓글
태그
  • #MSSQL
  • #BigQuery
  • #데이터브릭스
  • #databricks
  • #airflow
  • #빅쿼리
  • #데이터
  • #데이터엔지니어
  • #SQL Server
  • #주형권
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바