📖공부방📖

데이터가 어떤 그룹(범주)에 속하는지 예측하는 기법 ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 등급 예측군집화(클러스터링)와의 차이점분류: 지도학습(supervised)으로서 목표변수인 그룹(범주)이 사전에 정의됨군집화: 비지도 학습(unsupervised)으로서 목표변수가 없음예측 분석 (회귀 문제) 데이터가 어떤 (연속형) 값을 가질지 예측하는 기법 ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 점수 예측 분류 기법로지스틱 회귀분석의사결정나무나이브 베이즈 분류인공신경망서포트 벡터 머신(SVM)K 최근접 이웃규칙기반의 분류와 사례기반 추론(Case-Based Reasoning) 로지스틱 회귀분석 지도학습 독립변수의 선형 결합을 이용해 사건의 발생 가능성을 예측하는 데 사용되는 통계..

제가 본 40회 시험 때는 계산 문제가 적었어요그래도 계산 문제는 틀리면 아까우니까 확실히 공부하고 가는 게 좋을 것 같아요 5. 정형 데이터 마이닝1. 데이터 마이닝의 개요데이터 마이닝(Data Mining) 대량의 데이터로부터 가치 있는 관계를 찾아내 의사결정에 활용하는 통계적 방법론미래에 대한 예측, 숨겨진 관계성 식별 등데이터로부터 의미 있는 인사이트, 지식을 찾아내는 것전통적인 통계분석에 비해 컴퓨터 의존도가 높음인공지능이 발달함에 따라 머신러닝을 구현하기 위한 바탕임의사결정나무, KNN, SVM, Bagging, etc데이터 마이닝 예시마케팅: 고객이 살 법한 제품을 직접 메일링사기 감지: 신용 카드 거래 내역에서 사기일 법한 거래 감지고객 이탈 감지: 경쟁사로 이탈할 법한 고객 사전 포착병원..

주성분 분석(PCA): 통계적 차원 축소 기법데이터들이 변수를 요약하여 하나의 변수로만 데이터의 위치 정보를 나타내는 것이 목적상관성이 높은 변수들의 선형 결합으로 만들어 기존의 상관성이 높은 변수들을 요약, 축소하는 기법다차원 데이터셋의 차원을 축소하여 데이터의 구조를 파악함변수들끼리 상관성이 있는 경우 발생하는 해석 상의 복잡한 구조적 문제를 해결함데이터의 정보(분산)를 가장 잘 보존하는 새로운 변수(주성분) 생성주성분 간 상호 독립p개의 변수들을 중요한 m(p)개의 주성분으로 표현해 전체 변동을 설명하는 것으로 m개의 주성분은 원래 변수에서 서로 상관성이 높은 변수들의 선형결합으로 생성된 변수임전체 변수 사용 대신 도출되는 몇 개의 새로운 변수만의 사용으로 분석을 대신할 수 있음주성분의 개수는 누적..

다차원척도법(MDS): 객체 간의 상대적 거리 또는 유사성을 고려하여 상대적 위치를 시각화하는 통계적 기법 (차원 축소 테크닉) 여러 대상들을 동일한 상대적 거리를 가진 실수 공간의 점들로 배치시키는 방법데이터를 저차원(2, 3차원) 공간상에 점으로 투영하여 고차원 데이터의 구조를 직관적으로 이해할 수 있음잠재해 있던 패턴이나 구조를 찾아냄데이터 간 유사성은 ‘유클리드 거리’를 통해 계산STRESS: MDS의 적합도 지표원 데이터의 구조(거리, 유사성)를 얼마나 잘 보존하고 있는지 평가 (0~1) 0에 가까울수록 저차원으로의 투영이 원 데이터의 거리/유사성을 잘 반영하고 있음계량적 MDS(구간척도나 비율척도인 경우) / 비계량적 MDS(순서척도인 경우)

시계열 분석시계열이 정상인지 판단하기 위해 폭발적인 추세를 보이거나 시간에 따라 분산이 변화하는지 관찰해야 함 외부인자와 관련해 계절적인 패턴, 추세와 같은 요소를 설명할 수 있는 모델을 결정하는 것시계열 데이터: 시간의 흐름에 따라 관찰한 관측값시계열 데이터의 모델링은 다른 분석모형과 같이 탐색 목적과 예측 목적으로 나눌 수 있음정상성(Stationarity): 시간의 흐름에 따라 통계적 특성(분산, 평균)이 변하지 않는 성질약정상성(시차에만 의존하는 공분산) : 모든 시점에 기댓값과 분산이 일정하고 자기 공분산은 시차에만 의존정상 시계열은 어떤 일정한 값을 중심으로 일정한 변동 폭을 가짐안정적 시계열: 시간의 추이와 관계 없이 평균, 분산이 불변하여, 변했다고 해도 다시 평균으로 회귀하는 경향을 보임..

회귀분석: 하나 이상의 독립변수와 종속변수의 관련성을 설명하는 통계적 모형을 설정하고, 데이터에 적합한 회귀식을 계산하여 이를 통해 통계적 추론/분석을 하는 기법독립변수(설명변수, 예측변수): 다른 변수에 영향을 주는 변수반응변수(종속변수): 영향을 받는 변수독립변수의 개수에 따라 단순(1개)/다중 선형회귀분석으로 나뉨ex) KOSPI 내 개별 기업의 시가총액과 수익률 간 관련성 연구 고객의 신용도, 나이, 직업 등의 변수를 사용하여 카드 월간 사용액 예측 회귀분석의 특징/목적두 종류의 변수 사이에 인과관계가 성립과거 데이터에 의존과거/미래를 예측독립변수와 종속변수 사이의 관계 요약개별 독립변수의 중요성 평가종속변수의 값 예측 회귀분석 절차문제 정의산점도 그리기 선형성 검토 / 이상치 탐색 / 상관계수를..

기술통계: 데이터의 특징을 수치적으로 정리/요약하는 방법론통계량중심: 평균, 중위수, 최빈값산포도: 분산, 표준편차, 범위, 사분위수 범위(IQR)통계 개념평균: 모든 자료의 값을 더하여 자료의 수로 나누어 준 값 이상치의 영향이 큼중앙값: 크기순의 자료에서 가운데에 위치하는 값분산: 편차 제곱의 합을 자료의 수로 나눈 값 (퍼짐의 정도)표준편차: 분산을 제곱근 한 값왜도: 분포의 비대칭도첨도: 뾰족한 정도 (표준정규분포의 첨도는 3)p-백분위수: 전체 자료를 크기 순서대로 나열했을 때, 백분율로 표시된 위치에 해당하는 값상관: 확률변수 $X, Y$의 변화가 서로 관계가 있을 때 상관관계가 있다고 함(선형적 관련성)공분산: 두 확률변수 $X, Y$의 선형적 상관 정도 데이터 단위의 영향을 많이 받음상관계..

3-4 과목은 다 중요해서 포인트를 딱 집기가 어렵네요기출 많이 돌려가면서 감 익히는 게 중요한 거 같아요 1. 통계분석의 이해통계: 분석하고자 하는 집단에 대해서 조사하거나 실험을 통해서 얻는 자료 또는 이의 요약된 형태를 말함  통계 데이터 수집 방법총/전수 조사: 조사 대상의 집단을 모두 조사하는 방법론으로, 시간과 비용 소요가 큼(인구주택 총조사)표본 조사: 조사 대상의 일부만 측정 방법에 의해 추출하여 조사하는 방법론 표본 크기가 클수록 대체로 좋음표본오차: 모집단 전체의 특성을 추론함으로써 생기는 오차, 모집단을 대표할 수 있는 표본단위들이 조사대상으로 추출되지 못하면 발생비표본오차: 표본오차를 제외한 조사 과정 전체에서 발생하는 오차표본편의: 표본추출 방법에서 기인하는 오차 추출 과정에서 특..

결측값: 결측값 처리는 전체 작업속도에 많은 영향을 줌default 값이 있으면 결측치로 처리 X다양한 대치 방법을 사용해 완전한 자료로 만들고 분석 진행 가능결측치가 많은 경우는 해당 변수를 제거하고 분석함단순 대치법Completes Analysis: 결측치가 없는 완전한 자료로만 분석함평균 대치법단순 확률 대치법 - Nearest Neighbor평균 대치법에서 추정량 표준오차의 과소추정 문제를 보완한 방법다중 대치법: $m$번의 대치를 통해 $m$개의 가상적 완전 자료를 만듦단순확률 대치법을 여러번 한 것추정량의 표준오차와 과소추정, 계산의 난해성 문제가 보완된 방법이상값(Outlier) 인식과 처리이상값 판단 방법 - 이상치(이상값): 극단적으로 튀는 값설명변수 관측치에 비해 종속변수의 값이 상이한..

데이터웨어하우스와 데이터마트를 비교하며 암기해 주세요사분위수에 대한 문제는 꼭 나오니 범위의 의미도 꼼꼼하게 봐주세요 3. 데이터 마트1. 데이터 변경 및 요약데이터 모델링: 정보 시스템을 설계하는 과정에서 데이터의 구조, 관계, 제약조건 등을 명시적으로 표현하는 과정데이터 웨어하우스나 데이터 마트는 데이터 모델링의 일부각각 기업 전체와 특정 부서나 기능에 초점을 맞춘 데이터의 집합(저장소)을 의미하므로 제공하는 기능과 범위에 따라 두 개념을 구분함데이터 웨어하우스: 데이터를 정리해 보관한 창고 - 트레이더스 기업 내의 의사결정지원 어플리케이션에 정보 기반을 제공하는 하나의 통합된 데이터 저장 공간세분화함으로써 관련 정보에 대한 접근을 훨씬 더 쉽게 함ETL: 주기적으로 내외부 데이터베이스로부터 정보를 ..