ADsP 3과목 4-6 주성분 분석 | 정리📝

주성분 분석(PCA): 통계적 차원 축소 기법
데이터들이 변수를 요약하여 하나의 변수로만 데이터의 위치 정보를 나타내는 것이 목적
상관성이 높은 변수들의 선형 결합으로 만들어 기존의 상관성이 높은 변수들을 요약, 축소하는 기법

• 다차원 데이터셋의 차원을 축소하여 데이터의 구조를 파악함
  변수들끼리 상관성이 있는 경우 발생하는 해석 상의 복잡한 구조적 문제를 해결함
• 데이터의 정보(분산)를 가장 잘 보존하는 새로운 변수(주성분) 생성
  • 주성분 간 상호 독립
  • p개의 변수들을 중요한 m(p)개의 주성분으로 표현해 전체 변동을 설명하는 것으로 m개의 주성분은 원래 변수에서 서로 상관성이 높은 변수들의 선형결합으로 생성된 변수임
• 전체 변수 사용 대신 도출되는 몇 개의 새로운 변수만의 사용으로 분석을 대신할 수 있음
• 주성분의 개수는 누적 기여율을 통해 결정 (85~90% 이상)
• 선형변환 필요
• 제1주성분은 변동을 최대로 설명해주는 방향으로 변수들의 선형결합식
• 이론적으로 주성분 간 상관관계가 없음
• 비지도학습에 해당함

 

주성분 분석 필요성

• 차원 축소: 시각화, 분석, 모델링에 용이, 설명력 향상
• 군집분석 시 모형의 성능 향상
• 회귀분석에서 다중공선성(Multicollinearity) 제거: 독립변수 간 상관관계로 인해 발생하는 다중공선성 제거를 통한 모델의 안정성 증가
  • 평평해지는 지점에서 멈춤 → 3개

    

• 노이즈 제거: 데이터의 주요 구조를 표현하여 노이즈 제거
• IoT 센서 데이터를 주성분 분석 후 스마트 팩토리에 활용

 

주성분 개수 선택 방법
주성분을 구성하는 계수 구조를 파악해 적절하게 해석되어야 하며, 명확하게 정의된 해석법이 있는 것은 아님
누적기여율, 고윳값, Scree Plot을 통해 정함

• 전체 변이 공헌도(percentage of total variance) 방법: 전체 변이의 70~90% 정도가 되도록 결정
• 평균 고윳값(average eigenvalue) 방법: 고유값들의 평균을 구한 후 고유값이 평균값 이상이 되는 주성분을 설정하는 방법
  기존보다 큰 고윳값의 계수로 정할 수 있음
• Scree graph 방법: 고유값의 크기순으로 산점도를 그린 그래프에서 감소하는 추세가 원만해지는 지점에서 1을 뺀 개수를 선택