ADsP 3과목 5-2 분류분석 | 정리📝

데이터가 어떤 그룹(범주)에 속하는지 예측하는 기법
ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 등급 예측

• 군집화(클러스터링)와의 차이점
  분류: 지도학습(supervised)으로서 목표변수인 그룹(범주)이 사전에 정의됨
  군집화: 비지도 학습(unsupervised)으로서 목표변수가 없음

예측 분석 (회귀 문제)
데이터가 어떤 (연속형) 값을 가질지 예측하는 기법
ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 점수 예측

 

분류 기법

• 로지스틱 회귀분석
• 의사결정나무
• 나이브 베이즈 분류
• 인공신경망
• 서포트 벡터 머신(SVM)
• K 최근접 이웃
• 규칙기반의 분류와 사례기반 추론(Case-Based Reasoning)

 

로지스틱 회귀분석
지도학습
독립변수의 선형 결합을 이용해 사건의 발생 가능성을 예측하는 데 사용되는 통계기법

• 종속변수($y$)가 이진·범주형 변수인 회귀분석 모형
  • R 코드: glm( … , family = binomical, … )
• 예측 모델을 생성한다는 점에서 선형회귀 분석 방법과 동일
• 선형회귀 모형 적용이 가능하긴 하나, 예측값이 [0, 1]을 벗어나고 이를 확률값으로 직접 해석 불가함
• 클래스가 알려진 데이터의 설명변수들 관점에서 각 클래스 내의 관측치들의 유사성을 찾는 데 사용함
  $y = logit[π(x)] = log(\frac{π(x)}{1-π(x)}) = β_0+β_1x$
   $y$값의 범위를 $[0,1]$로 조정하기 위해 $logit$ 함수를 사용함
  

  

  
  
  오즈에 로그함수를 씌운 것
  0부터 1까지 크기를 가짐
  
  
  
  
  
• 오즈비 (odds ratio): 성공할 확률이 실패할 확률의 몇 배인지 나타내는 값
  오즈를 사용해 각 범주(집단)에 분류될 확률 값을 추정함
  $odds = \frac{π(x)}{1-π(x)}$
  $z = logit(odds) = log(\frac{π(x)}{1-π(x)})$
  • 로지스틱 함수 = 로짓 함수의 역함수
    $π(x) =\frac{exp(β_0+β_1x)}{1+exp(β_0+β_1x)}$
• $exp(β₁)$ : $x$가 한 단위 증가할 때 성공의 오즈가 몇 배 증가하는지를 나타내는 값
   

  	선형회귀분석	로지스틱 회귀분석
  종속변수	연속형 변수	범주형 변수 (0 or 1)
  모수 추정	최소제곱법 최대우도 추정법	최대우도 추정법(MLE)
  모형 검정	t-검정, F-검정	카이제곱 검정

 

일반화 선형회귀

• 로지스틱 회귀
• 포아송 회귀

 

의사결정나무

• 분류(분류 나무) 및 회귀(회귀 나무) 문제에도 사용할 수 있음 (수치/범주형 모두 가능)
  • 분류 나무: 종속변수 이산형
  • 회귀 나무: 종속변수 연속형
• 의사결정나무는 트리 구조를 통해, 종속변수의 값이 독립변수 값의 조합으로 어떻게 예측되는지를 직관적으로 보여줌
• 비모수적 모델 (확률분포 가정 없음)
• 트리 구조를 통해, 종속변수 예측을 위한 독립변수 내의 계층적이고 sequential한 규칙을 보여줌
• 상위 노드에서 하위 노드로 갈수록 집단 내에서는 동질성, 집단 간에는 이질성이 커져야 함
• 하향식 기법을 사용해 각 단계에서 가장 적합한 변수값을 선택해 분할함
  각 마디에서의 최적 분리규칙은 분리변수의 선택과 분리기준에 의해 결정됨
  위쪽에 사용한 변수일수록 데이터를 잘 분리함
• 뿌리마디에서 아래로 내려갈수록 각 마디의 불순도는 점차 감소함 (순수도 증가)
• 분리변수의 P차원 공간에 대한 현재 분할은 이전 분할의 영향을 받음
• 특정 변수와 매우 상관성이 높은 다른 불필요한 변수가 있더라도 크게 영향을 받지 않음
• 이익도표나 검정용 자료에 의한 교차타당성 등을 이용해 평가함

ex) 대출신용평가, 환자증상유무, 채무불이행 가능성 예측

 

 

의사결정나무 프로세스

1. 하나의 독립변수를 선택하고 특정 방법론에 의해 해당 변수에 대한 기준값을 정함 (=분류 규칙)
2. 전체 데이터셋을 상기 기준값보다 작은 집합과 기준값보다 큰 집합으로 나눔
3. 나눠진 집합에 다시 1, 2 과정을 반복함

장점

• 직관적, 해석이 쉬움
• 결측값 대처 가능
• 비모수 모형 & 비교적 모형의 가정이 까다롭지 않음
• 모형 정확도를 준수함
• 수치형, 범주형 가리지 않고 모두 사용 가능
• 대용량 데이터도 빠르게 진행 가능
• 정규화 및 단위 변환 필요 없음 (전처리 과정 쉬움)
• 이상값에 민감하지 않음

단점

• 계산 비용이 큼
• 과대 적합 발생 쉬움 (분산이 큼)
• 독립변수 간의 중요도 판단이 어려움
• 분류 경계선 근처의 자료에 대해 오차 큼

 

의사결정나무의 분석 과정

성장, 가지치기, 타당성 평가, 해석 및 예측 단계

가지치기(pruning): 분류 오류를 크게 할 위험이 높거나 부적절한 규칙을 가진 가지를 제거하는 작업 → 과적합 문제 해결

 

 

분류 규칙 기준

• 아래 기준 중 하나를 선택하고, 해당 값을 가장 많이 감소시켜 주는 기준값을 선택
  • 카이제곱 통계량
  • 지니 지수(Gini Index): 데이터의 통계적 분산 정도를 정량화 해 표현한 값으로 불확실성을 의미함
    같은 특성의 객체끼리 잘 모여있는지 판단함
    불순도를 측정하는 지표로 노드의 불순도를 나타내는 값 → 클수록 이질적이고 순수도 낮음
    $G(X)=1-\displaystyle\sum_{i=1}(p_i)^2$
  • 엔트로피(Entropy): 여러 임의의 사건이 모여있는 집합의 순수성(purity) 또는 단일성(homogeneity) 관점의 특성을 정량화 해 표현한 것으로 불순도 척도를 의미함
    불확실성을 측정하는 척도
    $H(X)=-\displaystyle\sum_{i=1}p_ilog_2p_i$   * $p_i$ : 특정 범주
• 종속변수가 연속형(수치형)인 경우 분산의 감소량을 사용

 

의사결정나무 알고리즘

• CART : 분류와 회귀 문제 모두에 적용할 수 있는 의사결정나무 알고리즘
  • 종속변수가 범주형: 지니 지수 사용
  • 종속변수가 수치형: 분산의 감소량 사용
• C4.5 (C5.0)
  • 목표변수 반드시 범주형
  • 엔트로피 사용
  • 정보 이득(Information Gain)을 최대화하는 방향으로 학습
  • CART와 다르게 각 node에서 다지분리 가능
• CHAID
  • 입력변수가 반드시 범주형이어야 함
  • 종속변수가 범주형: 카이제곱 통계량 사용
  • 종속변수가 수치형: F-통계량 사용 

    종속변수	분류 기준	알고리즘
    이산형	지니 지수	CART
    	엔트로피 지수	C4.5
    	카이제곱 통계량	CHAID
    연속형	분산 감소량