ADsP 3과목 5-1 데이터 마이닝의 개요 | 정리📝

제가 본 40회 시험 때는 계산 문제가 적었어요
그래도 계산 문제는 틀리면 아까우니까 확실히 공부하고 가는 게 좋을 것 같아요

 

5. 정형 데이터 마이닝

1. 데이터 마이닝의 개요

데이터 마이닝(Data Mining)
대량의 데이터로부터 가치 있는 관계를 찾아내 의사결정에 활용하는 통계적 방법론

• 미래에 대한 예측, 숨겨진 관계성 식별 등
• 데이터로부터 의미 있는 인사이트, 지식을 찾아내는 것
• 전통적인 통계분석에 비해 컴퓨터 의존도가 높음
• 인공지능이 발달함에 따라 머신러닝을 구현하기 위한 바탕임
• 의사결정나무, KNN, SVM, Bagging, etc

데이터 마이닝 예시

• 마케팅: 고객이 살 법한 제품을 직접 메일링
• 사기 감지: 신용 카드 거래 내역에서 사기일 법한 거래 감지
• 고객 이탈 감지: 경쟁사로 이탈할 법한 고객 사전 포착
• 병원: 발병 예측
• Shelf Management: 같이 살법한 물건을 같이 진열

 

데이터 마이닝 방법에 따른 분류

• 지도학습
• 비지도 학습

데이터 마이닝 분석 목적에 따른 분류

• 분류(classification) 분석: 데이터가 어느 그룹에 속하는지 판별 (범주형)
  데이터 이해를 더 쉽게하기 위해 데이터를 특정 기준으로 분류 및 범주화하고 등급화하는 방법
• 군집(Clustering) 분석: 유사성이 높은 객체끼리 묶는 분석 (이질적인 모집단 세분화 기능)
• 연관(Association) 분석: 장바구니 분석

 

지도학습과 비지도 학습

지도학습		비지도학습
회귀(연속형)	선형회귀분석 의사결정나무(회귀트리모형) SVR(Support Vector Regressio) 신경망 모형 릿지 라쏘	군집	K-means SOM DBSCAN(밀도 기반 군집) 병합 군집 계층 군집
		연관	Apriori
분류(범주형)	로지스틱 회귀분석 신경망 모형 의사결정나무(분류트리모형) k-NN(k-최근접 이웃 알고리즘) 앙상블 모형 SVM(Support Vector Machine) 나이브 베이즈 분류	차원 축소	PCA(주성분 분석) LDA(선형판별분석) SVD(특잇값 분해) MDS(다차원 척도법)

나이브 베이즈 분류: 베이즈 정리를 기반으로 한 지도학습 모델
ex) 스팸 메일 필터링, 텍스트 분류 등

 

K-Nearest Neighbor: 주변 K개의 데이터 중 가장 많은 데이터로 대치하는 방법

• 수치형 데이터는 인코딩 등을 통해 거리측정 가능함
• 차원의 크기가 크면 계산량이 많아짐
• K값이 작을수록 과적합 문제가 발생함
• 훈련 데이터에서 미리 모형을 학습하지 않고 새로운 자료에 대한 예측 및 분류를 수행할 때 모형을 구성하는 lazy learning 기법을 사용함
• 그룹을 모르는 데이터 p에 대해 이미 그룹이 알려진 데이터 중 p와 가장 가까이 있는 k개의 데이터를 수집하여 그룹을 생성함

DBSCAN(밀도 기반 클러스터링)은 데이터 형태가 오목하거나 다른 임의의 모양일 때 k-means 보다 성능이 좋음

 

지도학습(교사학습)

• 예측(추론)을 위한 분석
• 학습 과정을 가이드 해주는 목표 변수가 존재
• 특성 수치나 범주를 예측함

지도학습 예시

• 회귀모형
  로지스틱 회귀모형을 통해, 특정 이력(정보)을 가진 고객이 특정 물건을 구매할지 예측
• 일반화 선형 모형
• 인공신경망
• 의사결정나무
• 배깅, 부스팅, 랜덤포레스트
• 사례 기반 추론
• Support Vector Machines

 

비지도 학습

• 기술적(descriptive) 분석
• 종속 변수 없음
• 데이터 내 Valuable, Unexpected 패턴을 포착하기 위함
• 고차원 데이터의 구조를 묘사하기 위함

비지도 학습 예시

• 연관규칙 분석(Association Rule, Association Analysis): 고객이 같이 살 법한 물건의 쌍을 식별
• 군집분석(K-means Clustering): 군집의 개수나 구조에 대한 가정없이 데이터들 사이의 거리를 기준으로 군집화를 유도함
  ex) KOSPI 상장 기업의 수익률 군집화를 통해 비슷한 패턴의 주가 움직임을 보이는 기업 식별
  • Self-Organizing Maps (SOM; 자기조직화지도): 고차원의 데이터를 이해하기 쉬운 저차원의 뉴런으로 정렬해 지도형태로 형상화 하는 클러스터링 방법
  • Hierarchical Clustering
  • OLAP

 

데이터 마이닝 프로세스

• 1단계: 목적 설정
  모델/데이터 정의
• 2단계: 데이터 준비
  데이터 정제 및 확보
• 3단계: 데이터 가공
  (지도학습이라면) 목표 변수(target variable) 정의
  • 모델에 맞게 데이터 가공
  • 데이터 마이닝 소프트웨어에 적용 가능하게 준비하는 단계
• 4단계: 기법 적용 (모델링)
  통계적 모델링이 아니므로 지나치게 통계적 가설이나 유의성에 집착 X
  충분한 시간이 있다면 다양한 옵션을 시도하고, 일정 성과가 나오면 해석 · 활용 단계를 진행함
  (성능에 집착하면 분석 모델링의 주목적인 실무 적용에 반하여 시간 낭비이므로 큰 편차가 없고 예상 성능을 만족하면 중단함)
• 5단계: 검증
  • 최적의 모델 선택
  • 데이터 마이닝을 통해 추출한 정보에 대한 검증
  • 정성적 분석 (활용 방안, 기대효과 등)

    

데이터 분할 - 예측력 높이기
데이터 마이닝 기법을 적용 전 데이터를 훈련용(50%), 검정용(30%), 평가용(20%) 세 가지로 분할함
데이터가 충분하지 않을 때는 훈련용, 평가용 데이터만 구분함
필요에 따라서는 훈련용, 평가용 데이터를 번갈아가며 사용하는 교차확인을 통해 모형을 평가함

• 학습용 데이터 (Train Data)
  • 모형의 모수(파라미터) 추정, 학습용 데이터
  • 모델링에 직접 사용되는 데이터
  • 보통 전체 데이터 크기의 50~60% 사용
• 검정용 데이터 (Validation Data)
  • 학습된 모형의 과대/과소 적합을 조정하는 데 사용
• 시험용 데이터 (Test Data)
  • 모형의 성능을 검증
  • 학습 과정에 절대 개입해서는 안 됨
  • 보통 전체 데이터 크기의 20~30% 사용

 

과대적합을 방지하기 위해 활용되는 자료 추출 방법

데이터의 양이 충분하지 않은 경우 - 데이터 분할을 통한 검증

• 홀드아웃 (hold-out)
  전체 데이터를 랜덤하게 학습/시험 데이터로 나눈 후, 학습 데이터를 다시 학습/검정 데이터로 나누는 방식
  • 데이터의 양이 충분하지 않거나 입력변수에 대한 설명이 충분한 경우 사용
• K-fold 교차분석 (cross-validation)
  전체 데이터를 K개로 분할하고, 학습/검정 데이터를 교차하여 K번 학습하는 방법론
  • 검증용 셋(validation set) 하나, 훈련용 셋(train set) K-1개로 사용해 K번 반복 측정하고 결과를 평균 낸 값을 최종 평가로 사용함
  • LOOCV(Leave-One-Out Cross-Validation): K = 전체 관측치(n)인 경우
  • 가장 보편적으로 사용
  • 과적합 문제 해결 가능
  ex) 3-fold 교차분석
  A. 데이터셋 3분할
  B. 1번 분할셋을 검정 데이터로 지정 / 2, 3번 분할셋은 학습 데이터로 지정
  C. 모형 학습 및 성능 평가
       어떤 셋이 모형 평가 결과가 좋을지 모름 
       학습과 평가를 같은 데이터셋에 진행하면 과적합 될 수 있음 
  D. B~C번을 검정 데이터 분할셋을 바꿔가며 반복

  

• 붓스트랩(Bootstrap)
  • 복원추출법에 기반함
    *복원추출법: 관측치를 한번 이상 훈련 자료로 사용함
    표본을 뽑은 다음, 뽑힌 표본을 다음 표본 추출 대상에 포함시켜 다시 뽑는 방법
    모집단의 크기가 작을 때 주로 사용함
  • d가 충분히 크다고 가정할 때, 훈련용 집합으로 선정되지 않아 검증용 자료로 사용되는 관측치의 비율
    = $\frac {1}{e}$ → 36.8%
    *훈련용 집합으로 선정되지 않을 확률 = $1-\frac {1}{d}$
• 계층별 k-겹 교차 검증(Stratified k-fold cross validation)

 

 

성과 분석 - <오분류표(Confusion Matrix)> - 모델링 성능 평가

• Accuracy (정분류율, 정확도): 양성이든 음성이든 정확히 진단한 비율
  $= \frac{TP + TN}{TP + TN + FP + FN}$
• Error Rate (오분류율)
  $=1-\frac{TP + TN}{TP + TN + FP + FN}$
• Specificity (특이도): 실제로 음성인 사람 중에서 음성으로 진단한 비율
  $= \frac{TN}{TN + FP}$
• Sensitivity = Recall (민감도 = 재현율): 실제로 양성인 사람 중에서 양성으로 진단한 비율
  $= \frac{TP}{TP + FN}$
  • 모형의 완정성(completeness)을 평가함
• Precision (정밀도): 예양양 양성으로 진단한 사람 중에서 실제로 양성인 비율
  $= \frac{TP}{TP + FP}$
• F1-Score $=2\frac{(Precision) (Sensitivity)}{Precision + Sensitivity}$
• ROC Curve (Receiver Operating Characteristic Curve)
  • $x$축: False Positive Rate (= 1-specificity) (1-특이도)
  • $y$축: True Positive Rate (= sensitivity = recall) (민감도)
  • 신호탐지이론에서 적중확률 대 오경보확률의 그래프임
  • 이진 분류 모형의 성능을 측정
  • ROC 곡선 아래의 면적인 AUROC가 1에 가까울수록 좋음 0.5 이하면 랜덤에 가까운 성능이라고 봄

    

• 리프트 차트(lift chart, 향상도 곡선, 이익도표, gain chart)
  : 분류 분석모형을 사용하여 분류된 관측치가 등급(분위)별로 얼마나 포함되는지를 나타내는 도표
  • 기저 리프트(baseline lift) : 전체 반응 데이터 수 ÷ 전체 데이터 수
  • 반응검출률(% captured response) : 등급 내 반응 데이터 수 ÷ 전체 반응 데이터 수
    • 해당 집단을 분리해내는 비율 = $\frac {해당집단에서\ 목표변수의\ 특정범주의\ 빈도 }{ 전체\ 목표변수의\ 특정범주의\ 빈도} \times 100$
  • 반응률(% response) : 등급 내 반응 데이터 수 ÷ (전체 데이터 수 ÷ 등급 개수)
  • 리프트: 등급별 반응률 ÷ 기저 리프트값
  • 일반적으로 0.5에서 cut-off, 1.0이 가장 높은 기준
• 달성률(Detect Rate; 디텍트 레이트)

 

 

과대적합과 과소적합

• 과대적합(overfitting): 모형이 학습/검정 데이터에 과하게 학습되어, 일반화 성능과 적중률이 저하되는 현상
  • 아직 학습하지 않은 테스트 데이터에 대한 성능은 낮게 나옴
  • 훈련 데이터에 최적화 되어있어 작은 변화에 민감하게 반응함
  • 학습 데이터가 모집단의 특성을 충분히 설명하지 못할 때, 변수가 너무 많아 모형이 복잡할 때 자주 발생함
  • 과대적합 발생이 예상되면 학습종료, 업데이트 반복으로 방지할 수 있음
• 과소적합: 과대적합의 반대 - 모델이 너무 단순해 데이터조차 제대로 예측하지 못하는 경우

 

편향-분산 Trade-Off
일반적으로 학습 모형의 유연성이 클수록 분산이 크고, 편향이 감소함
높은 일반화 성능을 위해서는 Low Bias, Low Variance를 동시에 달성해야 함

• 과대적합: 복잡한 모델(high variance) → 편향 감소(low bias)
• 과소적합: 단순한 모델(low variance) → 편향 증가(high bias)