ADsP 3과목 5-3 앙상블 분석 | 정리📝

앙상블(Ensemble): 여러 개별적 예측 모형을 결합하여 보다 강력하고 견고한 모형을 만드는 기법

• 개별 모델의 약점 보완
• 전체 성능 향상 (예측력, 안정성)
• 훈련한 뒤 예측을 하는 데 사용하므로 교사학습법임

 

앙상블 모형의 특징

• 각 모형의 상호 연관성이 높을수록 정확도는 떨어짐
• 모형의 투명성이 떨어져 원인 분석에는 적합하지 않음
• 이상값에 대한 대응력 증가
• 전체적인 예측값의 분산을 감소시켜 정확도를 높일 수 있음

 

앙상블 분석 방법

• Stacking
• 배깅(Bootstrap Aggregating): 데이터를 복원추출하여 여러 개의 부분집합(붓스트랩)을 만들고 각 부분집합에 모델(예측모형)을 학습시키는 방법
  원 데이터 집합으로부터 크기가 같은 표본을 여러번 단순 임의복원 추출하여 각 표본에 대해 분류기를 생성한 후 그 결과를 앙상블하는 기법
  • 붓스트랩을 집계하는 알고리즘
  • 여러 학습 모형을 Voting으로 결합하여 최종 모형 생성
  • 반복추출법 사용으로 같은 데이터가 한 표본에 여러번 추출되거나 추출되지 않을 수 있음
• 부스팅(Boosting): 예측력이 약한 학습 모형(Weak Learner)을 순차적으로 학습시켜 강한 학습 모형(Strong Learner)을 만드는 방법
  • AdaBoost, Grandient Boosting, XGBoost, Light GBM, etc

    

• 랜덤 포레스트(Random Forest): 배깅 방식으로 여러 개의 의사결정나무를 생성하고 결합하는 방식
  • 배깅에 더 많은 무작위성을 주는 분석 기법
  • 의사결정나무(분산이 큼)의 단점인 과대/과소 적합을 감소(=분산 감소)시키고 높은 예측력을 가진 알고리즘
  • 약한 학습기를 생성하고 이를 선형 결합해 최종 학습기를 만드는 방법
  학습 프로세스
  1. 붓스트랩(복원 랜덤 샘플링)
  2. 랜덤한 변수 선택
     각 모형의 다양성 증가 및 과대 적합 방지
  3. 다수의 의사결정나무 생성
     붓스트랩 및 랜덤 변수 선택으로 나무 간 독립성 확보
  4. 결합
     각 트리의 예측값을 Voting을 통해 최종 예측값 계산
  장점
  - 고성능 및 안전성
  - 대규모 데이터셋 처리
  - 결측치 처리
  - 변수 중요도 제공
  
  단점
  - 계산 속도와 메모리
  - 상대적으로 해석이 어려움
  - 매개변수 설정