ADsP 3과목 4-2 기초 통계 분석 | 정리📝

기술통계: 데이터의 특징을 수치적으로 정리/요약하는 방법론

• 통계량
  • 중심: 평균, 중위수, 최빈값
  • 산포도: 분산, 표준편차, 범위, 사분위수 범위(IQR)

통계 개념

• 평균: 모든 자료의 값을 더하여 자료의 수로 나누어 준 값
  이상치의 영향이 큼
• 중앙값: 크기순의 자료에서 가운데에 위치하는 값
• 분산: 편차 제곱의 합을 자료의 수로 나눈 값 (퍼짐의 정도)
• 표준편차: 분산을 제곱근 한 값
• 왜도: 분포의 비대칭도

  

• 첨도: 뾰족한 정도 (표준정규분포의 첨도는 3)
• p-백분위수: 전체 자료를 크기 순서대로 나열했을 때, 백분율로 표시된 위치에 해당하는 값
• 상관: 확률변수 $X, Y$의 변화가 서로 관계가 있을 때 상관관계가 있다고 함(선형적 관련성)
  • 공분산: 두 확률변수 $X, Y$의 선형적 상관 정도
    데이터 단위의 영향을 많이 받음
  • 상관계수: 공분산을 두 변수 표준편차의 곱으로 나누어 단위를 제거한 값
    (-1, 1) 범위 안에 값이 존재함

    

자료의 표현

• 도표나 그래프를 만듦
• 그래프화한 자료의 대칭성을 비롯한 전반적인 형태를 관찰
• 그래프에서 일반적인 분포와 다른 이상치를 관찰
• 범주형 자료
  • 막대그래프
  • 도수분포표
    • 도수: 각 범주에 속하는 관측값의 개수
    • 상대도수: 도수를 전체 개수로 나눈 비율
      $n$번 반복시행에서 사건 $A$가 일어난 횟수를 $r$ 이라 하면, 상대도수 $r/n$ 은 $n$ 이 커짐에 따라 확률 $P(A)$ 에 가까워짐

      

• 연속형 자료
  • 히스토그램: 자료가 존재하는 범위를 몇 개의 구간으로 나누어 각 구간에 들어있는 자료의 발생 도수를 체크하여 막대그래프로 작성한 그림 (분포의 형태 파악)
    표로 되어 있는 도수분포표를 그래프로 나타낸 것
    • 자료의 중심/산포 등을 파악
    • 데이터 수가 적어도 50개 이상이어야 함
    • 그래프의 막대 수와 막대의 구간에 따라 형상이 달라짐
      봉우리가 여러개 있는 데이터는 일반적으로 2개 이상의 공정이나 조건에서 데이터가 수집되는 경우 발생함
      

      

      낙도형: 외딴 데이터가 나타나는 것
  • 줄기-잎-플롯(그래프): 자료를 잎과 줄기로 구분
    • 히스토그램에 비해 정보 손실량이 적음
    • 장점: Raw Data의 정보를 그대로 유지. 전반적인 분포 형태를 파악
    • 단점: 데이터 수가 많으면 오히려 불편
  • 박스-플롯(Box-plot): 다섯 수치 요약(최솟값, 1사분위수, 중앙값, 3사분위수, 최댓값)
    • 분포에 대한 요약 정보만을 제공
    • 데이터 수가 적을 때 낮은 효용성
    • 이상치 식별 쉬움

      

+) 파레토 그림(pareto diagram): 명목형 자료에서 중요한 소수를 찾는 데 유용한 방법

 

 

자료의 상관

• 산점도: 두 변수 $X, Y$가 짝을 이뤄 관측된 $n$개의 데이터를 좌표상의 점으로 표현한 그래프
  • 두 특성의 값이 연속인 경우, 표본자료를 그래프로 나타내는 방법
  • 전체적인 변수 사이의 관계 유형과 특이점을 살펴볼 수 있음

    

• 상관(Correlation): 확률변수 $X$의 변화가 $Y$의 변화에 관계가 있을 때 상관관계가 있다고 말하며, 이러한 분석을 상관분석이라고 함
  • 상관분석: pca = princomp(data, cor = True)
    • True: 상관관계 행렬
    • False: 공분산 행렬
• 선형적인 관련성에 대한 분석

 

공분산과 상관계수

• 공분산: 측정 단위에 의존
• 상관계수: 단위 없음. 항상 -1과 1 사이의 값
  절댓값 1에 가까울 수록 상관성의 강도가 큼 (0은 상관관계X)
  • 피어슨 상관계수: 공분산을 두 변수 표준편차의 곱으로 나눈 값
    • 선형적 상관관계
    • 두 정량적 변수 간 선형적 연관성의 강도를 재는 척도
  • 스피어만 상관계수 / 켄달 상관계수
    • 비선형적 상관관계
    • 자료의 값 대신 순위를 사용하여 계산하는 상관계수
    • 연속형 자료를 작은 것부터 순위를 매겨 서열 순서로 바꾼 뒤 순위를 이용해 피어슨 상관계수를 이용하는 방법
    • 데이터 내 이상치가 있을 때 활용

상관관계(두 현상의 관계) → 상관관계 분석

인과관계(원인과 결과 사이 관계) → 회귀분석