📖공부방📖

인공신경망: 뉴럴 네트워크(뇌 신경시스템)에서 영감을 받아 만들어진 모형분류 및 회귀 문제에 사용 가능비지도 학습에도 사용 가능단순한 계산 unit을 매우 많이 생성하고 이를 상호 결합하게끔 만든 시스템 이러한 시스템은 복잡한 현상을 재현할 수 있음데이터 내 비선형적인 관계를 포착하고 이를 통해 목표 변수를 예측일반적으로 다층 퍼셉트론을 의미함 정보의 흐름: 입력층 → 은닉층 → 출력층역전파 알고리즘(Back Propagation): 연결강도를 갱신하기 위해 예측된 결과와 실제값의 차이인 에러의 역전파를 통해 가중치를 조정 (목적함수를 최적화 하기 위해 사용함) 인공신경망에서 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치(weight)를 조정하는 방법neuralet( ) 함수 사용 시 일반화 ..

앙상블(Ensemble): 여러 개별적 예측 모형을 결합하여 보다 강력하고 견고한 모형을 만드는 기법개별 모델의 약점 보완전체 성능 향상 (예측력, 안정성)훈련한 뒤 예측을 하는 데 사용하므로 교사학습법임 앙상블 모형의 특징각 모형의 상호 연관성이 높을수록 정확도는 떨어짐모형의 투명성이 떨어져 원인 분석에는 적합하지 않음이상값에 대한 대응력 증가전체적인 예측값의 분산을 감소시켜 정확도를 높일 수 있음 앙상블 분석 방법Stacking배깅(Bootstrap Aggregating): 데이터를 복원추출하여 여러 개의 부분집합(붓스트랩)을 만들고 각 부분집합에 모델(예측모형)을 학습시키는 방법 원 데이터 집합으로부터 크기가 같은 표본을 여러번 단순 임의복원 추출하여 각 표본에 대해 분류기를 생성한 후 그 결과를 ..

데이터가 어떤 그룹(범주)에 속하는지 예측하는 기법 ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 등급 예측군집화(클러스터링)와의 차이점분류: 지도학습(supervised)으로서 목표변수인 그룹(범주)이 사전에 정의됨군집화: 비지도 학습(unsupervised)으로서 목표변수가 없음예측 분석 (회귀 문제) 데이터가 어떤 (연속형) 값을 가질지 예측하는 기법 ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 점수 예측 분류 기법로지스틱 회귀분석의사결정나무나이브 베이즈 분류인공신경망서포트 벡터 머신(SVM)K 최근접 이웃규칙기반의 분류와 사례기반 추론(Case-Based Reasoning) 로지스틱 회귀분석 지도학습 독립변수의 선형 결합을 이용해 사건의 발생 가능성을 예측하는 데 사용되는 통계..

제가 본 40회 시험 때는 계산 문제가 적었어요그래도 계산 문제는 틀리면 아까우니까 확실히 공부하고 가는 게 좋을 것 같아요 5. 정형 데이터 마이닝1. 데이터 마이닝의 개요데이터 마이닝(Data Mining) 대량의 데이터로부터 가치 있는 관계를 찾아내 의사결정에 활용하는 통계적 방법론미래에 대한 예측, 숨겨진 관계성 식별 등데이터로부터 의미 있는 인사이트, 지식을 찾아내는 것전통적인 통계분석에 비해 컴퓨터 의존도가 높음인공지능이 발달함에 따라 머신러닝을 구현하기 위한 바탕임의사결정나무, KNN, SVM, Bagging, etc데이터 마이닝 예시마케팅: 고객이 살 법한 제품을 직접 메일링사기 감지: 신용 카드 거래 내역에서 사기일 법한 거래 감지고객 이탈 감지: 경쟁사로 이탈할 법한 고객 사전 포착병원..

주성분 분석(PCA): 통계적 차원 축소 기법데이터들이 변수를 요약하여 하나의 변수로만 데이터의 위치 정보를 나타내는 것이 목적상관성이 높은 변수들의 선형 결합으로 만들어 기존의 상관성이 높은 변수들을 요약, 축소하는 기법다차원 데이터셋의 차원을 축소하여 데이터의 구조를 파악함변수들끼리 상관성이 있는 경우 발생하는 해석 상의 복잡한 구조적 문제를 해결함데이터의 정보(분산)를 가장 잘 보존하는 새로운 변수(주성분) 생성주성분 간 상호 독립p개의 변수들을 중요한 m(p)개의 주성분으로 표현해 전체 변동을 설명하는 것으로 m개의 주성분은 원래 변수에서 서로 상관성이 높은 변수들의 선형결합으로 생성된 변수임전체 변수 사용 대신 도출되는 몇 개의 새로운 변수만의 사용으로 분석을 대신할 수 있음주성분의 개수는 누적..

다차원척도법(MDS): 객체 간의 상대적 거리 또는 유사성을 고려하여 상대적 위치를 시각화하는 통계적 기법 (차원 축소 테크닉) 여러 대상들을 동일한 상대적 거리를 가진 실수 공간의 점들로 배치시키는 방법데이터를 저차원(2, 3차원) 공간상에 점으로 투영하여 고차원 데이터의 구조를 직관적으로 이해할 수 있음잠재해 있던 패턴이나 구조를 찾아냄데이터 간 유사성은 ‘유클리드 거리’를 통해 계산STRESS: MDS의 적합도 지표원 데이터의 구조(거리, 유사성)를 얼마나 잘 보존하고 있는지 평가 (0~1) 0에 가까울수록 저차원으로의 투영이 원 데이터의 거리/유사성을 잘 반영하고 있음계량적 MDS(구간척도나 비율척도인 경우) / 비계량적 MDS(순서척도인 경우)

시계열 분석시계열이 정상인지 판단하기 위해 폭발적인 추세를 보이거나 시간에 따라 분산이 변화하는지 관찰해야 함 외부인자와 관련해 계절적인 패턴, 추세와 같은 요소를 설명할 수 있는 모델을 결정하는 것시계열 데이터: 시간의 흐름에 따라 관찰한 관측값시계열 데이터의 모델링은 다른 분석모형과 같이 탐색 목적과 예측 목적으로 나눌 수 있음정상성(Stationarity): 시간의 흐름에 따라 통계적 특성(분산, 평균)이 변하지 않는 성질약정상성(시차에만 의존하는 공분산) : 모든 시점에 기댓값과 분산이 일정하고 자기 공분산은 시차에만 의존정상 시계열은 어떤 일정한 값을 중심으로 일정한 변동 폭을 가짐안정적 시계열: 시간의 추이와 관계 없이 평균, 분산이 불변하여, 변했다고 해도 다시 평균으로 회귀하는 경향을 보임..

회귀분석: 하나 이상의 독립변수와 종속변수의 관련성을 설명하는 통계적 모형을 설정하고, 데이터에 적합한 회귀식을 계산하여 이를 통해 통계적 추론/분석을 하는 기법독립변수(설명변수, 예측변수): 다른 변수에 영향을 주는 변수반응변수(종속변수): 영향을 받는 변수독립변수의 개수에 따라 단순(1개)/다중 선형회귀분석으로 나뉨ex) KOSPI 내 개별 기업의 시가총액과 수익률 간 관련성 연구 고객의 신용도, 나이, 직업 등의 변수를 사용하여 카드 월간 사용액 예측 회귀분석의 특징/목적두 종류의 변수 사이에 인과관계가 성립과거 데이터에 의존과거/미래를 예측독립변수와 종속변수 사이의 관계 요약개별 독립변수의 중요성 평가종속변수의 값 예측 회귀분석 절차문제 정의산점도 그리기 선형성 검토 / 이상치 탐색 / 상관계수를..

기술통계: 데이터의 특징을 수치적으로 정리/요약하는 방법론통계량중심: 평균, 중위수, 최빈값산포도: 분산, 표준편차, 범위, 사분위수 범위(IQR)통계 개념평균: 모든 자료의 값을 더하여 자료의 수로 나누어 준 값 이상치의 영향이 큼중앙값: 크기순의 자료에서 가운데에 위치하는 값분산: 편차 제곱의 합을 자료의 수로 나눈 값 (퍼짐의 정도)표준편차: 분산을 제곱근 한 값왜도: 분포의 비대칭도첨도: 뾰족한 정도 (표준정규분포의 첨도는 3)p-백분위수: 전체 자료를 크기 순서대로 나열했을 때, 백분율로 표시된 위치에 해당하는 값상관: 확률변수 $X, Y$의 변화가 서로 관계가 있을 때 상관관계가 있다고 함(선형적 관련성)공분산: 두 확률변수 $X, Y$의 선형적 상관 정도 데이터 단위의 영향을 많이 받음상관계..

3-4 과목은 다 중요해서 포인트를 딱 집기가 어렵네요기출 많이 돌려가면서 감 익히는 게 중요한 거 같아요 1. 통계분석의 이해통계: 분석하고자 하는 집단에 대해서 조사하거나 실험을 통해서 얻는 자료 또는 이의 요약된 형태를 말함  통계 데이터 수집 방법총/전수 조사: 조사 대상의 집단을 모두 조사하는 방법론으로, 시간과 비용 소요가 큼(인구주택 총조사)표본 조사: 조사 대상의 일부만 측정 방법에 의해 추출하여 조사하는 방법론 표본 크기가 클수록 대체로 좋음표본오차: 모집단 전체의 특성을 추론함으로써 생기는 오차, 모집단을 대표할 수 있는 표본단위들이 조사대상으로 추출되지 못하면 발생비표본오차: 표본오차를 제외한 조사 과정 전체에서 발생하는 오차표본편의: 표본추출 방법에서 기인하는 오차 추출 과정에서 특..