📖공부방📖

연관분석제품별 거래 빈도표를 통해 규칙을 찾는데서 시작함시차 연관분석은 시간이 지남에 따라 어떤 소비형태를 보이는가에 대한 분석으로 원인과 결과의 형태로 해석이 가능해서 결과가 더 유용하게 쓰임 연관규칙(Association Rule)조건과 반응의 형태(if-then)로 결과 이해 쉬움목적변수가 없어 분석 방향이나 목적 없이도 적용 가능함너무 세분화된 품목은 의미없는 결과를 도출함실시간 상품추천을 통한 교차판매 등에 활용 가능함장점분석 방향이나 목적이 특별히 없는 경우 목적변수가 없으므로 유용함거래 내용에 대한 데이터를 변환 없이 그 자체로 이용할 수 있는 간단한 자료구조를 갖는 분석 방법임계산이 간단함결과이해 쉬움단점품목 수가 증가하면 분석에 필요한 계산이 기하급수적으로 증가함거래량이 적은 품목은 당연..

데이터 간 유사도/비유사도를 평가하여 데이터를 특정 개수의 군집으로 분할하는 기법 군집의 개수나 구조에 대한 가정 없이 다변량 데이터로부터 거리 기준에 의한 자발적 군집화를 유도함비지도 학습으로 사전 정보 없이 자료를 유사한 대상끼리 묶음다변량 분석(상관분석, 회귀분석, 주성분 분석 등)을 활용하여 각 군집에 대한 특징을 파악함 군집분석에 이용되는 다변량 자료는 별도의 반응변수가 필요 없음상관분석: 경향과 관계의 정도를 알아보는 분석 (인과관계, 분산을 알 수 없음)개체를 분류하기 위한 명확한 기준이 존재하지 않거나 기준이 밝혀지지 않은 상태에서 유용함군집분석은 하위군집 내 동질성 / 하위군집 간 이질성을 만족군집화의 방법에는 분리 군집, 밀도 기반 군집 등이 있음실루엣 계수(silhouette coef..

인공신경망: 뉴럴 네트워크(뇌 신경시스템)에서 영감을 받아 만들어진 모형분류 및 회귀 문제에 사용 가능비지도 학습에도 사용 가능단순한 계산 unit을 매우 많이 생성하고 이를 상호 결합하게끔 만든 시스템 이러한 시스템은 복잡한 현상을 재현할 수 있음데이터 내 비선형적인 관계를 포착하고 이를 통해 목표 변수를 예측일반적으로 다층 퍼셉트론을 의미함 정보의 흐름: 입력층 → 은닉층 → 출력층역전파 알고리즘(Back Propagation): 연결강도를 갱신하기 위해 예측된 결과와 실제값의 차이인 에러의 역전파를 통해 가중치를 조정 (목적함수를 최적화 하기 위해 사용함) 인공신경망에서 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치(weight)를 조정하는 방법neuralet( ) 함수 사용 시 일반화 ..

앙상블(Ensemble): 여러 개별적 예측 모형을 결합하여 보다 강력하고 견고한 모형을 만드는 기법개별 모델의 약점 보완전체 성능 향상 (예측력, 안정성)훈련한 뒤 예측을 하는 데 사용하므로 교사학습법임 앙상블 모형의 특징각 모형의 상호 연관성이 높을수록 정확도는 떨어짐모형의 투명성이 떨어져 원인 분석에는 적합하지 않음이상값에 대한 대응력 증가전체적인 예측값의 분산을 감소시켜 정확도를 높일 수 있음 앙상블 분석 방법Stacking배깅(Bootstrap Aggregating): 데이터를 복원추출하여 여러 개의 부분집합(붓스트랩)을 만들고 각 부분집합에 모델(예측모형)을 학습시키는 방법 원 데이터 집합으로부터 크기가 같은 표본을 여러번 단순 임의복원 추출하여 각 표본에 대해 분류기를 생성한 후 그 결과를 ..

데이터가 어떤 그룹(범주)에 속하는지 예측하는 기법 ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 등급 예측군집화(클러스터링)와의 차이점분류: 지도학습(supervised)으로서 목표변수인 그룹(범주)이 사전에 정의됨군집화: 비지도 학습(unsupervised)으로서 목표변수가 없음예측 분석 (회귀 문제) 데이터가 어떤 (연속형) 값을 가질지 예측하는 기법 ex) 학생의 공부 시간, 구매한 책 개수를 통해 내신 점수 예측 분류 기법로지스틱 회귀분석의사결정나무나이브 베이즈 분류인공신경망서포트 벡터 머신(SVM)K 최근접 이웃규칙기반의 분류와 사례기반 추론(Case-Based Reasoning) 로지스틱 회귀분석 지도학습 독립변수의 선형 결합을 이용해 사건의 발생 가능성을 예측하는 데 사용되는 통계..

제가 본 40회 시험 때는 계산 문제가 적었어요그래도 계산 문제는 틀리면 아까우니까 확실히 공부하고 가는 게 좋을 것 같아요 5. 정형 데이터 마이닝1. 데이터 마이닝의 개요데이터 마이닝(Data Mining) 대량의 데이터로부터 가치 있는 관계를 찾아내 의사결정에 활용하는 통계적 방법론미래에 대한 예측, 숨겨진 관계성 식별 등데이터로부터 의미 있는 인사이트, 지식을 찾아내는 것전통적인 통계분석에 비해 컴퓨터 의존도가 높음인공지능이 발달함에 따라 머신러닝을 구현하기 위한 바탕임의사결정나무, KNN, SVM, Bagging, etc데이터 마이닝 예시마케팅: 고객이 살 법한 제품을 직접 메일링사기 감지: 신용 카드 거래 내역에서 사기일 법한 거래 감지고객 이탈 감지: 경쟁사로 이탈할 법한 고객 사전 포착병원..

주성분 분석(PCA): 통계적 차원 축소 기법데이터들이 변수를 요약하여 하나의 변수로만 데이터의 위치 정보를 나타내는 것이 목적상관성이 높은 변수들의 선형 결합으로 만들어 기존의 상관성이 높은 변수들을 요약, 축소하는 기법다차원 데이터셋의 차원을 축소하여 데이터의 구조를 파악함변수들끼리 상관성이 있는 경우 발생하는 해석 상의 복잡한 구조적 문제를 해결함데이터의 정보(분산)를 가장 잘 보존하는 새로운 변수(주성분) 생성주성분 간 상호 독립p개의 변수들을 중요한 m(p)개의 주성분으로 표현해 전체 변동을 설명하는 것으로 m개의 주성분은 원래 변수에서 서로 상관성이 높은 변수들의 선형결합으로 생성된 변수임전체 변수 사용 대신 도출되는 몇 개의 새로운 변수만의 사용으로 분석을 대신할 수 있음주성분의 개수는 누적..

다차원척도법(MDS): 객체 간의 상대적 거리 또는 유사성을 고려하여 상대적 위치를 시각화하는 통계적 기법 (차원 축소 테크닉) 여러 대상들을 동일한 상대적 거리를 가진 실수 공간의 점들로 배치시키는 방법데이터를 저차원(2, 3차원) 공간상에 점으로 투영하여 고차원 데이터의 구조를 직관적으로 이해할 수 있음잠재해 있던 패턴이나 구조를 찾아냄데이터 간 유사성은 ‘유클리드 거리’를 통해 계산STRESS: MDS의 적합도 지표원 데이터의 구조(거리, 유사성)를 얼마나 잘 보존하고 있는지 평가 (0~1) 0에 가까울수록 저차원으로의 투영이 원 데이터의 거리/유사성을 잘 반영하고 있음계량적 MDS(구간척도나 비율척도인 경우) / 비계량적 MDS(순서척도인 경우)

시계열 분석시계열이 정상인지 판단하기 위해 폭발적인 추세를 보이거나 시간에 따라 분산이 변화하는지 관찰해야 함 외부인자와 관련해 계절적인 패턴, 추세와 같은 요소를 설명할 수 있는 모델을 결정하는 것시계열 데이터: 시간의 흐름에 따라 관찰한 관측값시계열 데이터의 모델링은 다른 분석모형과 같이 탐색 목적과 예측 목적으로 나눌 수 있음정상성(Stationarity): 시간의 흐름에 따라 통계적 특성(분산, 평균)이 변하지 않는 성질약정상성(시차에만 의존하는 공분산) : 모든 시점에 기댓값과 분산이 일정하고 자기 공분산은 시차에만 의존정상 시계열은 어떤 일정한 값을 중심으로 일정한 변동 폭을 가짐안정적 시계열: 시간의 추이와 관계 없이 평균, 분산이 불변하여, 변했다고 해도 다시 평균으로 회귀하는 경향을 보임..

회귀분석: 하나 이상의 독립변수와 종속변수의 관련성을 설명하는 통계적 모형을 설정하고, 데이터에 적합한 회귀식을 계산하여 이를 통해 통계적 추론/분석을 하는 기법독립변수(설명변수, 예측변수): 다른 변수에 영향을 주는 변수반응변수(종속변수): 영향을 받는 변수독립변수의 개수에 따라 단순(1개)/다중 선형회귀분석으로 나뉨ex) KOSPI 내 개별 기업의 시가총액과 수익률 간 관련성 연구 고객의 신용도, 나이, 직업 등의 변수를 사용하여 카드 월간 사용액 예측 회귀분석의 특징/목적두 종류의 변수 사이에 인과관계가 성립과거 데이터에 의존과거/미래를 예측독립변수와 종속변수 사이의 관계 요약개별 독립변수의 중요성 평가종속변수의 값 예측 회귀분석 절차문제 정의산점도 그리기 선형성 검토 / 이상치 탐색 / 상관계수를..