데이터엔지니어 주형권
가끔 튜닝을 하고자 할때 인덱스를 생성해서 미리 어떻게 동작하는지 알고 싶을 때가 있습니다. 보통은 테스트서버 or 로컬(개인PC)에서 데이터를 마이그레이션 하거나 일부러 더미 데이터를 넣어두고, 인덱스를 생성하여, 어떻게 실행계획이 동작하는지 테스트를 합니다. 하지만 이 방법은 대단히 귀찮(?)습니다. 그래서 실제 서버에서 가상으로 인덱스를 만들어서, 실 데이터를 가지고 테스트를 진행 할 수 있는 방법을 소개하고자 합니다. 하지만 이 방법은 통계를 이용하기 때문에 100% 정확하지는 않습니다. 하지만 실제 서비스에서 바로 결과를 확인 가능하며, 빠르게 할 수 있다는 이점이 있습니다. 이 인덱스는 Hypothetical Indexes 라고 부르며, Hypothetical는 가상의라는 뜻으로 나타납니다. ..
클러스터링 구축 작업에서 발생한 NetFx3 라는 오류 메시지를 기반으로 문제를 해결 한 과정 및 원인에 대해서 포스팅 하였습니다.본 과정은 SQL Server 2012에서 클러스터링 구축시 발생하는 오류에 관련된 내용이며, 이 내용은 SQL Server 2012 에서만 발생하는 것으로 보여집니다. (개인적 생각임)해당 작업은 다수의 시스템 재부팅이 있으므로, Live 서버에서 진행이 불가능 할 수 있습니다. 물론 클러스터링을 구축하지 않은 상태에서 하고 있지 않으시겠지만 혹시나하는 마음에 미리 언급 드립니다. 작업 환경- OS : Windows Server 2012 R2 - DB : SQL Server 2012 작업 사항 - 2대의 서버를 클러터링으로 묶어서 구축 하는 작업 진행 작업 시 발생 한 문제..
성능을 수집하기 위해서 사용되는 일반적인 도구인 SQL Server Profiler는 흔히 사용하는 도구입니다.하지만, Profiler 사용 시 예기치 못한 오류로 갑자기 종료되는 경우 Trace를 중지,종료 할 수 없어 당황하는 경우가 있습니다. 그래서 SSMS에서 쿼리를 이용하여 Trace를 조작하는 방법을 살펴 보겠습니다. 우선 Trace의 상태를 살펴보기 위해서 sys.trace를 이용 합니다. select * from sys.traces아래와 같은 결과가 sys.traces에 의해서 출력되며, 각각의 항목은 MSDN에 자세히 나와 있습니다. 항목 별 설명 (https://msdn.microsoft.com/ko-kr/library/ms178579(v=sql.120).aspx)열 이름데이터 형식설명..
클러스터링으로 묶여있는 서버에서 Active 장비에서 Standby 장비로 넘기고 서버를 재부팅 하려는 과정에서 클러스터링이 넘어가지 않고, SQL Serve가 시작되지 않는 상황이 발생하여, 지인 분의 도움으로 해결하였습니다. 결론적으로 SSL 인증서 문제였으며, 인증서를 삭제함으로써 문제를 해결하였습니다. 해당 포스트는 그 과정을 상세히 설명하였습니다. 1. 장비 구성 및 버전 - 장비는 클러스터링으로 묶여 있으며, 두 서버 모두 SQL Server 2012 STD를 사용하고 있습니다. 2. 장애 당시 상황 ㉠ Node 1 장비(Active)의 Windows Update를 모두 하고 재부팅을 하고자 함㉡ Node 1 장비를 Standby 상태로 만들고, Node 2를 Active 로 만들어서 순차적으..
성능 Perfmon카운터 정리 문서 추가적으로 업데이트 합니다. 문서 보는 방법 1. - 으로 시작하는 부분은 항목에 대한 설명입니다.2. > 으로 시작 하는 부분은 임계치와 해결 방법을 나타냅니다.3. * 으로 시작 하는 부분은 항목에 대한 용어 및 부연 설명입니다.4. 문서의 내용은 어디까지나 서버의 스팩,용도에 따라 다릅니다. 이점을 유의 하시기 바랍니다. SQLServer:Access Methods\Forwarded Records/sec - http://yoonsy.tistory.com/8 (제거 방법)- 현재 운영중인 환경에서 얼마나 많은 Forward Pointer를 사용하여 데이터를 엑세스 하는지 확인하는 성능 카운터 입니다. * Forward Pointer란 Heap 테이블의 가변형 데이터..
Parameter Sniffing(파라미터 스니핑)은 기존에 제가 알기론 성능에 나쁜 영향을 미치는 것으로 알고 있었습니다. 하지만 파라미터 스니핑은 SQL Server에서 대부분의 프로세스에서 성능을 향상 시킵니다. 이것은 단순한 용어이며, 파라미터 스니핑이 성능에 나쁜 영향을 주는 것은 아닙니다. 하지만 파라미터 스니핑에 의한 성능 문제 발생 시 엄청난 장애로 이어질 수 있습니다. (실제 30분 작업이 7시간이 걸려서 장애가 발생 한 적이 있습니다.) 파라미터 스니핑은 옵티마이저와 관련이 있습니다. 옵티마이저는 실행계획(Execution Plan)을 작성하기 위해서 통계 정보의 내용을 이용합니다. 그러므로 옵티마이저에 의해 생성된 실행 계획의 정확도는 통계 정보의 정확도와 통계를 생성하는데 사용된 데..
DB서버에 perfmon을 저장하는 방법을 이전 포스트에서 포스팅 했습니다. http://burning-dba.tistory.com/43 하지만 perfmon의 row 수가 많아지면, 성능 이슈 및 용량의 이슈가 발생합니다. 현재 1분에 1건씩 perfmon을 수집하여, 데이터를 넣고 있는데 한달정도 운영하였는데 건수가 벌써 150만건을 넘었습니다. 이렇게 많은 건수가 차후에 쌓이고 쌓여, 성능 이슈가 발생하거나 용량이 문제가 생길 수 있습니다. 그래서 이번 포스트에서는 지난 번의 내용에서 응용을 하여, 5개씩 (5분) 1 set로 지정하여, 데이터를 1/5로 줄여, 데이터를 old 테이블에 저장하는 방법에 대해서 적어보고자 합니다. 요구 사항은 다음과 같습니다. ① 기존의 데이터를 보존한다. ② 데이터..
백업을 만들고, 삭제 하기 위해서 사용하는 명령어(?) 입니다. 해당 프로시저는 MSDN에 문서화 되어 있지 않습니다.백업 파일을 삭제할때 windows 스케줄러 및 파워쉘 등을 이용하거나, xp_cmdshell를 이용하여, 삭제하는 경우가 있는데 그보다 더욱 간단하게 처리 가능 합니다.하지만 해당 프로시저는 MSDN에 나와있지 않은 만큼 주의를 기울여서 사용해야 하며, 많은 테스트를 통해서 검증을 거친 이후에 사용하시길 권장 합니다. 일단 기본적인 예시를 보면 다음과 같습니다. exec master.sys.xp_delete_file 0,N'D:\MSSQL_BACKUP\',N'BAK',N'2015-11-10 17:00',1 크게 복잡하거나 하지는 않지만 많은 파라미터를 받고 있습니다. 하지만 크게 어려운..
업무에서 오라클을 사용 하는 서버가 존재하여, 오라클 공부를 하면서, 가장 기초적인 테이블 스페이스 생성 및 삭제를 해봤습니다. MSSQL 에서 database가 오라클에서는 테이블 스페이스라고 하는 듯 합니다. Table space 생성 create tablespace TEST datafile 'D:\oracle\TEST.dbf size 1024M autoextend on next 100M maxsize unlimited logging online permanent extent management local autoallocate blocksize 8k; 이것을 하나씩 쪼개보면 이렇습니다. 처음 구분이 필요한 3개의 SQL문 이외에는 순서데로 설명드리겠습니다. ① tablespace의 이름을 뜻 합니다..
Windows에서 자동으로 bat파일과 스케줄러를 이용하여, 자동으로 파일을 삭제하도록 할 수 있습니다. MSSQL 백업을 받은 이후에 자동으로 삭제하는 것은 MSSQL에서 쿼리로도 가능하지만, windows 상에서도 가능 합니다.bat 파일을 만들어 스케줄에 등록하여, windows 에서 돌아가게 할 수 있습니다. 쿼리로 하는 방법은 xp_cmdshell , xp_delete_file 등이 있습니다. xp_delete_file 관련 설명 : http://optimizer.tistory.com/93 하지만, 백업파일을 백업서버로 넘기고 (일반적으로 같은 서버에 백업본을 계속 보관하지는 않을 것이므로...) 그 백업파일을 몇일 후에 삭제하는 경우에사용하면 좋을 것으로 보입니다. 다음과 같은 순서로 만들 수..
MSSQL Server 2014 의 In-Memory OLPT관련하여 정리한 내용입니다.PPT 와 스크립트가 첨부되어 있습니다. 혹시 수정사항 및 잘못된 부분 또는 궁금한 사항은 waws01@naver.com로 메일 주세요 ^.,^해당 내용은 http://blog.naver.com/gun0626 김영건님의 블로그를 대부분 참조하였으며, MSDN과 영문 블로그를 참조하였습니다.
안녕하세요. 금일 발생하였던 문제에 대해서 공부를 할겸해서 포스트를 작성합니다.본 내용은 이스트럭(강동운님)님의 SQLER 글에서 대부분 내용을 참고하였으며, 몇가지 설명과 그림을 붙였습니다. 오늘 모니터링 중에 데드락이 발생 한 SQL Server Error 로그가 있어서, 데드락 그랩을 잡아두고, 확인을 하였습니다. 상황을 들어보니 개발자분이 실서버에 데이터를 확인하기 위해 많은 수의 Row를 SELECT하면서 with(nolock)을 빼고 계속해서 반복적으로 수행하였고, 이때 UPDATE문이 있는 프로시저가 발동하면서 데드락이 발생하였습니다. 다행히 UPDATE되는 프로시저가 살고, SELECT가 죽어서 데이터를 이상이 없었습니다.그런데, 저의 지금까지의 경험으로는 보통 데드락은 UPDATE UPD..
안녕하세요. 성능카운터 공부하면서 정리한 내용을 공유합니다. 아마 보시다보면 여기저기서 봤던 내용이 있을 수 있습니다. 나름데로, 정리한 내용이라 혹시 잘못 된 부분은 말씀해주세요.또한 포스트를 보면서 꼭 알야할 상황은 시스템의 설정과 스팩에 따라서 수치는 다를수 있습니다. 예를 들어서 ad-hoc이 엄청나게 많은 서버에서 compile은 당연히 많을 수 밖에 없습니다. 그 기준은 시스템의 환경에 따라서 다르게 보시면 좋을 듯 합니다. 아직 미완성 부분이라서 전부 내용이 있지는 않습니다. 문서 보는 방법을 우선 보시고 포스트를 보시면 편할 것 입니다. 문서 보는 방법 1. - 으로 시작하는 부분은 항목에 대한 설명입니다. 2. > 으로 시작 하는 부분은 임계치와 해결 방법을 나타냅니다. 3. * 으로 시..
Windows에 성능분석을 위해 존재하는 Perfmon을 DB에 저장하여, 쿼리를 이용하여 가공하거나 다양한 형태로 볼 수 있습니다.하여, 이번 포스트에서는 Perfmon으로 수집된 정보를 DB에 저장하는 방법에 대해서 작성하였습니다. 테스트 환경 OS : Windows7 SQL Server : SQL 2012 STD 대략적인 순서는 Database생성->ODBC등록->PERFMON추가 및 수집 입니다. 1. ODBC 등록 제어판에 가서 ODBC를 입력하면 위와 같이 "데이터 원본(ODBC)설정이 나옵니다. 이를 클릭하면 다음과 같이 나옵니다. 그림을 클릭하면, 다음과 같이 나오는데 해당 창에서 시스템DSN 탭으로 들어갑니다. 탭으로 들어가서 '추가(D)...'를 클릭하여, ODBC를 추가합니다. 추가를..
제가 알고 있기로 통계정보는 업데이트 하는 동안 테이블에 Lock이 걸려서 부하가 있으므로, 통계의 업데이트는 점검시간에 하는 것으로 알고 있었습니다. 하지만 비동기 옵션을 통해서 이러한 현상을 극복 할 수 있습니다. 위의 글이 잘 보이지 않는 다면 아래의 링크를 클릭하면 됩니다.http://technet.microsoft.com/ko-kr/library/bb522682(v=sql.105).aspx 비동기 업데이트 옵션을 이용한다면, 성능이 영향을 주지 않는지 테스트 하기 위해서 간단한 테스트를 진행 했습니다. 비동기 옵션을 OFF로 해두고 테스트를 진행하고, ON으로 한 뒤 진행 해보았습니다. 위의 통계옵션은 알고 있을 것이라고 생각 됩니다. 통계 정보가 업데이트를 되고 있는지 확인 하기 위해서는 다음..
