ADsP 3과목 3-2 기초 분석 및 데이터 관리 | 정리📝

 

결측값: 결측값 처리는 전체 작업속도에 많은 영향을 줌
default 값이 있으면 결측치로 처리 X
다양한 대치 방법을 사용해 완전한 자료로 만들고 분석 진행 가능
결측치가 많은 경우는 해당 변수를 제거하고 분석함

• 단순 대치법
  Completes Analysis: 결측치가 없는 완전한 자료로만 분석함
• 평균 대치법
• 단순 확률 대치법 - Nearest Neighbor
  평균 대치법에서 추정량 표준오차의 과소추정 문제를 보완한 방법
• 다중 대치법: $m$번의 대치를 통해 $m$개의 가상적 완전 자료를 만듦
  단순확률 대치법을 여러번 한 것
  추정량의 표준오차와 과소추정, 계산의 난해성 문제가 보완된 방법

이상값(Outlier) 인식과 처리

• 이상값 판단 방법 - 이상치(이상값): 극단적으로 튀는 값
  설명변수 관측치에 비해 종속변수의 값이 상이한 값
  이상치는 분포를 왜곡할 수 있으나 꼭 제거해야 하는 것을 아니므로 적절한 판단이 필요함
  ex) 부정사용방지 시스템, 사기탐지, 의료, 침입탐지 등
  • ESD(Extreme Studentized Deviation): 평균으로부터 표준편차 3만큼 떨어진 값들을 이상값으로 인식하는 방법
    정규분포에서 99.7%의 자료들은 표준편차 3안에 위치하므로 전체 데이터의 약 0.3%를 이상 값으로 구분함
    이상치는 분석에서 제외할 수 있으나 무조건 제거해서는 안됨
  • 사분위수(Interquantile Range): 자료의 중앙 50% 데이터들이 흩어진 정도를 나타냄
    • 25%에 해당하는 값(Q1)과 75%에 해당하는 값(Q3) 사이의 정상 범위 값을 IQR(사분 범위)
    • 사분 범위에서 1.5분위수를 벗어나는 경우 이상치로 판단함

      

  • Grubb’s Test, Hotellings T2 test 등 통계 모형에 기반한 방법도 있음