ADsP 3과목 4-1 통계분석의 이해 | 정리📝

3-4 과목은 다 중요해서 포인트를 딱 집기가 어렵네요
기출 많이 돌려가면서 감 익히는 게 중요한 거 같아요

 

1. 통계분석의 이해

통계: 분석하고자 하는 집단에 대해서 조사하거나 실험을 통해서 얻는 자료 또는 이의 요약된 형태를 말함

 

 

통계 데이터 수집 방법

• 총/전수 조사: 조사 대상의 집단을 모두 조사하는 방법론으로, 시간과 비용 소요가 큼(인구주택 총조사)
• 표본 조사: 조사 대상의 일부만 측정 방법에 의해 추출하여 조사하는 방법론 표본 크기가 클수록 대체로 좋음
  • 표본오차: 모집단 전체의 특성을 추론함으로써 생기는 오차, 모집단을 대표할 수 있는 표본단위들이 조사대상으로 추출되지 못하면 발생
  • 비표본오차: 표본오차를 제외한 조사 과정 전체에서 발생하는 오차
  • 표본편의: 표본추출 방법에서 기인하는 오차
    추출 과정에서 특정 대상이 다른 대상에 비해 우선적으로 추출될 때 생기는 오차
  편의(조사방법에 의함. 확률화로 최소화), 오차(조사과정에서 발생) !

 

표본조사: 모집단을 대표할 수 있는 표본집단을 선별하여 조사한 것.
대표성을 신뢰할 수 있어야 통계분석의 결과 또한 신뢰할 수 있음

• 모집단(population): 관심/조사의 대상이 되는 개체의 전체 집합
• 모수(Parameter): 모집단에 대한 수치적 요약
• 표본(Sample): 모집단을 적절히 대표하는 모집단의 일부
• 통계량(Statistic): 표본에 대한 수치적 요약

 

표본 추출 방법 4가지

1. 단순 랜덤 추출법
   무작위 추출
   추출 확률 동일
2. 계통 추출법
   모집단의 크기를 원하는 표본 크기로 나누어 추출 간격을 정하고 첫 번째 추출할 개체를 임의로 정한 후 사전에 정의한 간격별로 개체를 추출하는 방법론
3. 층화 표본 추출법
   모집단을 몇 개의 층으로 나누어 각 층에서 단순랜덤추출을 하는 방법
   이질적인 원소들로 구성된 모집단에서 각 계층을 고루 대표할 수 있도록 표본을 추출함
   서로 유사한 것끼리 몇 개의 층을 나눈 후, 각 계층에서 표본을 랜덤하게 추출함
   • 비례 층화 추출법: 각 집단의 크기, 분산을 고려해 각 집단마다 샘플을 추출함
4. 집락(군집: Cluster)추출법 (≠집단 추출법)
   표본추출단위가 개체가 아닌, 개체가 모인 ‘집단’을 무작위로 선택한 후 선택된 집단들 내에 있는 모든 개체를 추출하는 방법론 → 다단계 추출 방법
   각 집락끼리 동질적이고 하나의 집락에 대해서는 서로 다른 성격의 데이터들이 포함되어 이질적임

 

측정 방법

명목척도	서열 관계가 없는 범주로 측정	지역. 혈액형, Godd/Bad/모름	질적
순서척도	서열 관계가 있는 범주로 측정	상류층/중산층/하류층, 선호도, 만족도	질적
등간(구간)척도	대상의 속성을 간격이 균등하게 측정 구간 사이 간격에 의미가 있는 자료(사칙연산X)	온도, 지수	양적
비율척도	대상의 속성을 간격이 균등하며 절댓값이 존재하게 측정 0이 존재하여 사칙연산이 가능한 자료	거리, 무게, 점수, 나이	양적

비율척도: 명목척도에 비해 변수가 내포하는 정보의 양이 많고, 자료 추정에 비용과 노력이 많이 필요함

 

 

통계분석

1. 기술통계: 데이터의 특징을 수치적으로 정리/요약하는 방법론
   표본 자체의 속성이나 특징을 파악하는 데 중점. 조직화, 단순화
   ex) 상품군별 월 매출액 평균/중위수/표준편차
   월별 주가지수 수익률의 평균
2. 추론(추측)통계: 모집단으로부터 추출한 표본의 통계량을 활용하여 모수에 대해 통계적인 추론(예측)/검정을 하는 방법론
   모집단의 변동성, 퍼짐의 정도에 관심이 있는 경우, 모분산이 추론의 대상이 됨
   정규분포를 따르지 않더라도 중심극한정리를 통해 모분산에 대한 검정을 유사하게 시행할 수 있음
   • 통계적 추정(모수 추정): 표본의 통계량을 통해 모집단의 모수를 추정
     추정: 표본을 이용해 모집단의 특성치에 대한 추측값을 제공하고 오차한계를 제시하는 과정
     표본통계량에 기초하여 모수의 근사값을 결정하는 것이 목적임
     표준오차: 추정량 $\hat µ$의 표준편차인 $σ/\sqrt n$ (오차한계의 기본)
   • 가설 검정: 설정한 가설이 옳을 때 표본에서 통계량과 통계량의 분포에서 이론적으로 얻는 특정 값을 비교하여 가설의 기각/채택 여부를 판정
     • 확률적 오차 범위를 넘어서면 가설 기각
     • 유의수준($α$): 기각/채택 여부의 판단 기준
     ex) A 상품이 B 상품보다 월평균 매출액이 더 큰가?
     1월의 주가지수 수익률이 7월보다 큰가?

 

확률 개념

1. 확률변수
   • 표본 공간에서 정의된 실숫값 함수
     실수가 아니면 확률분포함수를 정의할 수 없음
   • 일정 확률을 가지고 발생하는 사건에 수치를 부여한 것
     ex) 동전 앞면: 1 / 동전 뒷면: 0
   • 변수가 어떤 값을 취하는지가 확률적으로 결정됨
     통계적 규칙성은 있다고 봄
2. 확률분포
   확률변수의 값과 확률을 대응시켜 표, 그래프, 함수로 표현한 것

확률변수는 사건에 수치를 부여한 것, 확률분포는 수치를 확률로 대응시키는 것

• 표본공간($S$): 랜덤한 현상의 모든 가능한 결과의 집합
• 사건(event): 표본공간의 부분집합
  • 합사상, 곱사상, 여사상, 배반사상

확률의 공리적 정의 : 표본공간 $S$에서의 임의의 사상 $A$에 대하여,

$0 ≤ P(A) ≤ 1$

$P(S) = 1$

확률변수의 기댓값: 확률변수의 이론적 평균값

• 이산확률변수: $μ_x = E[X] = \sum_{i} x_i P(x_i)$
• 연속확률변수: $μ_x = E[X] = \int x P(x) dx$

 

1. 이산 확률변수

이산표본공간에서 정의된 확률변수의 값이 유한 혹은 countably infinite
*가산 무한: 셀 수 있는 무한 집합(끝까지 세지 못하더라도 세는 행위가 가능하면 가산임)
ex) 자연수 전체 집합

 

확률질량함수: 이산 확률변수 $x$의 값 $x_1, … , x_n$의 각 확률을 대응

• 베르누이 분포: 확률변수 $x$의 값이 2개 (0 or 1)
• 이항분포: 베르누이 시행을 $n$번 반복하여 특정한 횟수의 성공/실패가 나타날 확률의 분포
• 기하분포: 베르누이 시행 중 처음으로 성공이 나올 때까지 특정 횟수 실패할 확률의 분포
• 다항분포: 이항분포에서 확률변수 $x$의 개수가 증가한 것
  이항분포 → 다항분포($n_1, n_2, n_3, …$)
• 포아송 분포: 단위 시간/공간 내 사건의 발생 횟수의 확률 분포

 

2. 연속 확률변수

특정 구간 내의 모든 값을 취하는 확률변수
확률변수의 값이 무한개이며 셀 수 없음

확률밀도함수: 확률변수 $x$가 어떤 구간$[l, u]$의 모든 값을 취함

• 균등분포(균일분포, 일양분포): 확률변수 $x$의 모든 값이 같은 확률밀도 값을 가짐
• 정규분포: 표본을 통한 모수 추정, 가설검정의 기본
  • 좌우 대칭(bell-shaped)
  • 평균에 의해 분포의 위치가 결정됨
  • 표준편차에 의해 분포의 모양이 결정됨
  • *평균과 표준편차가 모수
• 지수분포
• 카이제곱 분포($x^2$-분포): 표본 분산을 통한 모분산 추정/검정에 사용되는 분포
  • 모평균과 모분산을 모르는 두 개 이상 집단 간 동질성 검정 또는 모분산 검정을 위해 활용됨
  • 표본 분산의 분포
  • 오른쪽 꼬리를 가짐
  • 항상 양수 값
  • 자유도: $n-1$
  • 자유도가 커지면 정규분포에 가까워짐 

    

• F-분포: 두 모분산의 차이에 대한 추정/검정에 이용
  • 카이제곱 분포를 따르는 확률변수를 각각의 자유도로 나눈 것
  • 등분산 검정: 두 모집단에 대하여 분산이 같은지 다른지 검정하기 위한 가설검정
• t-분포: 모표준편차를 모를 때, 모평균에 대한 추정/검정에 사용됨
  • 자유도(df: degree of freedom) = n-1
  • 정규분포보다 더 넓게 퍼져있고 꼬리 부분이 더 평평함
  • 좌우 대칭(bell-shaped)
  • 표본 크기가 크면 (30 이상) 정규분포와 거의 유사
  • 자유도가 커질수록 모수가 커져 표준정규분포에 가까워짐

    

중심극한정리: 모집단의 분포와 상관없이 표본의 개수 $n$이 커질수록 표본평균의 분포는 정규분포에 가까워지는 현상

• 모집단의 분포가 대칭이면 표본의 크기가 작아도 되지만, 비대칭이면 표본이 30개 이상이어야 함
• 표본평균에 대한 것이므로 모분산에 대한 추론에는 직접적으로 적용될 수 없음

조건부 확률 : 한 사건이 일어날 것을 전제로 다른 사건이 일어날 확률 (변화된 표본공간에서의 사건 발생 확률)

$P(A|B) = P(A ∩ B) / P(B)$

$P(A|S) = P(A)$

• 독립사건: 한 사건의 발생이 다른 사건의 발생 확률에 영향을 주지 않음
• 종속사건: 한 사건의 발생이 다른 사건의 발생 확률에 영향을 줌
• 배반사건: 서로 동시에 발생하지 않는 사건

 

통계적 추정

• 점 추정: 표본에서 얻어지는 정보를 이용하여 미지 모수의 참값으로 생각되는 하나의 수를 택하는 과정
  • 모수가 특정한 값일 것이라 추정
  • 오차의 정도에 대한 정보를 제공하지 못함
  • 어느 정도나 옳을지에 대한 판단 X
  <평가 기준 4가지>
  • 불편성: 추정량의 기댓값이 모수와 차이가 없어야 함
  • 유효성: 최소 분산의 추정량이어야 함
  • 일치성: 표본의 크기가 무한히 커지면 추정량이 모수와 일치해야 함
  • 충분성: 추정량이 모수에 대해 가장 많은 정보를 제공해야 함
• 구간 추정: 관심을 갖는 모수에 대하여 하나의 수치가 아닌 구간을 제시하는 방법
  • 모수가 특정한 구간에 있을 것이라고 선언
  • 특정 신뢰수준에 따르는 신뢰구간 제공
  • 신뢰구간: 모수를 포함할 것으로 추정하는 구간 conf.level = 0.95
  • 신뢰수준: 신뢰구간이 모수를 포함할 확률

 

 

가설 검정

통계적 가설검정: 모집단의 특성에 대한 주장 또는 가설을 세우고 표본에서 얻은 정보를 이용해 가설이 옳은지 판정하는 것

• 귀무가설($H_0$): 대립가설과 상반되는 가설 (일반적인 사실을 귀무가설로 설정)
• 대립가설($H_1$): 입증하고자 하는 가설 (효과가 있다, 차이가 있다 등의 내용)
• 제1종 오류($α$): 귀무가설을 채택해야 했음에도 이를 기각할 오류
• 제2종 오류($β$): 귀무가설을 기각해야 했음에도 이를 채택할 오류
• 유의수준(significance level: $α$): 제1종 오류를 범할 확률의 최대 허용 한계
• 유의확률(p-value): 기각역과 채택역을 나누는 경곗값 / 귀무가설 지지 정도를 나타낸 확률
  • 채택역: 귀무가설을 채택하는 검정통계량의 관측값 영역
  • 기각역: 귀무가설을 기각하는 검정통계량의 관측값 영역
• 검정통계량: 귀무가설과 대립가설 중 어느 하나를 택하는 데에 사용되는 통계량

 

가설 검정 절차

1. 검정할 가설($H_0$)을 설정
2. 유의수준을 설정 (0.01, 0.05, 0.1)
3. 검정 방법(임계치)을 결정하고 검정통계량과 임계치 비교
4. p-value(제1종 오류를 범할 실제 확률)가 유의수준보다 작으면 귀무가설 기각
   p-value가 작을수록 해당 검정통계량의 관측값은 귀무가설을 기각하는 것으로 해석할 수 있음

 

비모수적 검정

• 표본이 비정규 분포를 보일 경우, 자료의 수가 30개 미만일 경우 사용
• 모집단에 대한 가정이 약한 것이 특징
  • 분포의 모수에 대한 가설을 세우지 않음
  • 분포의 형태에 대해 가설을 설정함
• 모집단의 분포에 대해 아무런 제약을 가하지 않음
• Wilcoxon 순위합 검정, 부호순위 검정 등

비모수 검정통계량

• 관측값 자체를 사용하지 않고 부호나 순위를 사용 - 가공을 통해 상대적 비교 관측값의 절대적 크기에 의존하지 않음
• 가설검정의 효율 감소는 적고 안정한 방법임이 입증됨
• 데이터가 순위로만 주어진다면 비모수적 검정

모수 검정(parametric test)	비모수 검정(nonparametric test)
등간척도, 비율척도 - 숫자	명목척도, 서열척도
평균	중앙값
피어슨 상관계수	스피어만 순위상관계수
one sample t-test, two sample t-test, paired t-test, 카이제곱 검정, one way anova	부호검정(Sign test), Wilcoxon 부호순위검정, Mann-Whitney 검정, Kruskal 검정, 런 검정(Run test)

모수 검정: 관측값의 절대적 크기에 의존해 평균, 분산 등을 이용해 검정을 실시함

 

일 표본 t-검정(one sample t-test) : 하나의 모집단 평균값을 특정 값과 비교하는 경우 사용하는 통계적 분석 방법 일 표본이므로 두 집단의 효과를 비교할 수 없음

ex) A 공장에서 생산되는 지우개의 평균 중량은 50g 이하다

대한민국 남성의 평균 몸무게는 70kg이다

 

이표본 검정(two sample t-test): 분산비 검정에서 두 표본의 분산이 동일한지 비교하는 통계량은 F-분포를 따름

 

대응 표본 t-검정(paired t-test) : 동일한 대상에 대해 두 가지 관측치가 있는 경우 이를 비교하여 차이가 있는지 검정할 때 사용

ex) 두 집단에 신약 투약 이후의 전후 수치 비교

 

부호검정(Sign test) : 표본들이 서로 관련된 경우 짝지어진 두 관찰치의 크고 작음을 표시하여 두 표본의 차이에 대한 가설을 검증하는 비모수 검증 방법

관찰치의 차이가 양수인지 음수인지에 따라 부호를 붙여 그 분포를 바탕으로 가설 검증

 

교차 분석: 2개 이상의 변수를 결합하여 자료의 빈도를 살펴보는 기법

• 두 범주형(명목, 서열) 변수($X, Y$) 간의 관련성을 분석하기 위한 검정
• $H_0$: $X$와 $Y$ 간에 관계가 없다 (연관성이 없다)
• 카이제곱 검정: 카이제곱 검정통계량 값에 따라 계산된 유의확률이 유의수준(통상 0.05)보다 낮다면 귀무가설 기각
• 변수의 관찰도수에 비교될 수 있는 기대도수를 계산함
• 교차표를 작성해 교차빈도를 집계하고 두 변수들 간의 독립성 검정을 할 수 있음
• 기대빈도가 5 미만인 셀의 비율이 20%를 넘으면 카이제곱 분포에 근사하지 않으며, 표본의 크기를 늘리거나 변수의 수준을 합쳐 셀의 수를 줄이는 방법을 사용함

 

분산 분석(anova) : 세 개 이상의 모집단이 있으면 여러 집단 사이의 평균을 비교하는 검정 방법

• $H_0$: 모든 집단 간 평균은 같다
• 정규성 / 등분산성 / 독립성

(일원 배치) 분산 분석 (=one-way ANOVA)

• 범주형 변수인 독립변수($X$)와 연속형 변수인 종속변수($Y$) 간의 관계를 분석하는 방법론
• 일원 vs 이원 : 독립변수의 개수
• 수준(Level): 범주형 독립변수가 가질 수 있는 값
• $H_0$: $X$의 수준(level)에 따라 $Y$의 값에 차이가 없다
• F-검정: F 검정통계량 값에 따라 계산된 유의확률이 유의수준(통상 0.05)보다 낮다면 귀무가설 기각

일반적으로 분산→F-검정 / 평균→t-검정 사용함