ADsP 3과목 1. 데이터 분석 개요 | 정리📝

3과목부턴 정점 어려워져요
3-1은 짧으니까 전처리랑 EDA 내용 중점으로 보면 됩니다

 

데이터 처리 프로세스
데이터 웨어하우스 혹은 데이터 마트를 통해 분석 데이터를 구성

• 전처리: 정제와 변수처리 작업을 포함함 (like 재료 손질)
• 신규 데이터는 스테이징/ODS를 통한 전처리 후 데이터 웨어하우스 혹은 데이터 마트의 데이터와 결합
  *스테이징: 휘발성 데이터들이 잠시 머무르는 곳(전처리가 필요한 데이터) *ODS: 운영데이터저장소

 

시각화

• 저수준의 분석 형태
• 가장 직관적, 효율적이고 필수적인 방법론
• 탐색적 자료 분석(EDA)에서 주로 사용

ex) Tableau

• 최근 시각화의 발전 형태
  • 워드 클라우드를 통한 그래프화
  • SNA(Social Network Analysis)에서 집단의 특성과 관계를 그래프화
  • Polygon, Heatmap, Mosaic Graph 등 그래프 작업

 

탐색적 자료 분석(EDA; Exploratory Data Analysis)

• 데이터 내 일반적인 특징을 찾고 통찰을 얻기 위한 다각도 접근법
• 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한
  ‘탐색과 이해’를 기본으로 가져야 한다는 것을 의미함
• 다양한 시각화 기법 및 변주 간 조합을 통해 데이터 내의 구조적 관계를 식별
• 이상치, 결측치 등
• 데이터 분석의 첫 단계
  • 단순 확률 대치법: 대표적으로 K-Nearest Neighbor 방법이 있음
• 데이터에 대한 전반적인 이해를 통해 분석 가능한 데이터인지 확인하는 단계 데이터에 포함된 변수의 유형이 어떻게 되는지를 찾아가는 과정 알고리즘이 얼마나 잘 학습하는지는 전적으로 데이터의 품질과 정보량에 달려 있음

 

EDA의 4가지 주제

1. 저항성의 강조
2. 잔차 계산
3. 자료변수의 재표현
4. 그래프를 통한 현시성