데이터엔지니어 주형권
close
프로필 배경
프로필 로고

데이터엔지니어 주형권

  • 주형권의 포스트 (187)
    • Data Reliability Engineerin.. (6)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (16)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
  • 홈
  • 태그
  • 방명록
반응형
DB에 저장한 Perfmon 데이터 관리

DB에 저장한 Perfmon 데이터 관리

DB서버에 perfmon을 저장하는 방법을 이전 포스트에서 포스팅 했습니다. http://burning-dba.tistory.com/43 하지만 perfmon의 row 수가 많아지면, 성능 이슈 및 용량의 이슈가 발생합니다. 현재 1분에 1건씩 perfmon을 수집하여, 데이터를 넣고 있는데 한달정도 운영하였는데 건수가 벌써 150만건을 넘었습니다. 이렇게 많은 건수가 차후에 쌓이고 쌓여, 성능 이슈가 발생하거나 용량이 문제가 생길 수 있습니다. 그래서 이번 포스트에서는 지난 번의 내용에서 응용을 하여, 5개씩 (5분) 1 set로 지정하여, 데이터를 1/5로 줄여, 데이터를 old 테이블에 저장하는 방법에 대해서 적어보고자 합니다. 요구 사항은 다음과 같습니다. ① 기존의 데이터를 보존한다. ② 데이터..

  • format_list_bulleted Database/MSSQL Server
  • · 2015. 11. 11.
  • textsms
반응형
  • navigate_before
  • 1
  • navigate_next
전체 방문자
오늘
어제
전체
전체 카테고리
  • 주형권의 포스트 (187)
    • Data Reliability Engineerin.. (6)
    • 공통 (12)
    • 코딩 공부 (1)
    • DataLake (1)
    • Databricks (16)
    • GCP (22)
      • BigQuery (13)
      • Dataproc (2)
      • GCS (1)
      • 운영관련 개발 (5)
    • AWS (11)
      • Athena (2)
      • S3 (1)
      • RDS (1)
      • EFS (1)
      • Redshift (1)
      • LakeFormation (1)
      • 운영관련 개발 (3)
    • Data pipeline (16)
      • ETL (5)
      • Kubernetes (0)
      • Docker (1)
      • Airflow (6)
      • Embulk (4)
    • Database (69)
      • DATABASE 일반 (2)
      • MSSQL Server (56)
      • MY SQL (4)
      • ORACLE (4)
      • No SQL (3)
    • BI (5)
      • Superset (2)
      • Datastudio (2)
      • Grafana (1)
    • ETC (22)
      • DW (2)
      • Programming (1)
      • Windows SERVER (17)
      • Network (1)
    • 취미 (6)
      • 게임 (5)
      • 등산 (1)
반응형
최근 글
인기 글
최근 댓글
태그
  • #airflow
  • #databricks
  • #주형권
  • #BigQuery
  • #데이터브릭스
  • #데이터
  • #데이터엔지니어
  • #MSSQL
  • #빅쿼리
  • #SQL Server
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바