ADsP 2과목 1-2 분석 방법론 | 정리📝

데이터 분석 방법론: 절차, 방법, 도구와 기법, 템플릿과 산출물로 구성됨

 

분석 마스터플랜의 세부 이행계획 수립 시 고려사항

• 데이터 분석 체계(분석 방법론)의 특성을 고려하여 세부적인 일정 계획을 수립해야함

 

분석 마스터플랜 수립 시 적용 범위 및 방식에 대한 고려 요소

• 업무 내재화 적용 수준
• 분석데이터 적용 수준
• 기술 적용 수준

 

기업에서 데이터에 기반한 의사결정을 방해하는 요소

• 프레이밍 효과: 동일한 사건이나 상황을 두고도 개인의 판단이나 선택이 달라질 수 있는 현상
  물이 반밖에 없군 VS 물이 반이나 있군
• 고정관념
• 편향된 생각

 

분석 방법론이 적용되는 업무 특성에 따른 모델

• 폭포수(Waterfull) 모델
  단계를 거쳐 순차적으로 진행하는 방법
  현재 단계가 완료되어야 다음 단계로 진행될 수 있는 하향식 방향으로 진행
  문제나 개선 사항이 발견될 경우 피드백 과정을 수행할 수 있음
• 프로토타입((Prototype) 모델
  진화적 프로세스 모델의 하나로 일부분 먼저 개발하여 제공한 후 그 결과를 통해 개선하는 모델
• 나선형(Spiral) 모델: 반복을 통해 점진적으로 개발하는 방법으로서, 처음 시도하는 프로젝트에 적용이 용이하지만 관리 체계를 효과적으로 갖추지 못한 경우 복잡도가 상승하여 프로젝트 진행이 어려울 수 있음
• 애자일(Agile) 모델

 

방법론의 구성

• 계층형 프로세스 모델
  일반적으로 분석 방법론은 계층형 프로세스 모델 형태로 구성됨
  계층적 프로세스 모델은 최상의 계층인 몇 개의 단계로 구성되어 있고 하나의 단계는 여러 개의 태스크로 구성되고 하나의 태스크는 여러 개의 스텝으로 구성되어 있음
  스텝은 WBS(Work Breakdown Structure)의 워크패키지에 해당하며,
  ’입력(Input) — 처리 및 도구(Process & Tool) — 출력(Output)’으로 구성된 단위 프로세스임

  

 

KDD 분석 방법론 프로세스

1. 데이터셋 선택(Selection)
   비즈니스 도메인에 대한 이해와 프로젝트 목표 설정이 필수
   분석에 필요한 데이터를 선택 → 타깃 데이터(target data) 생성
2. 데이터 전처리(Processing)
   잡음, 이상치, 결측치를 파악하여 제거하거나 의미 있는 데이터로 재가공
   추가로 요구되는 데이터셋이 있다면 데이터 선택 프로세스를 다시 실행
3. 데이터 변환(Transformation)
   분석 목적에 맞는 변수를 생성/선택하고 데이터의 차원을 축소
   학습용 데이터(training data set)와 검증용 데이터(test data set)를 분리
4. 데이터 마이닝(Data Mining)
   학습용 데이터를 이용하여 분석 목적에 맞는 데이터 마이닝 기법을 선택하고 적절한 알고리즘을 적용
   필요에 따라 전처리와 변환 프로세스도 추가
5. 해석과 평가
   분석 목적과의 일치성을 확인하고 평가
   발견한 지식을 업무에 활용하기 위한 방안 마련

   

 

CRISP-DM(Cross-Industry Standard Process for Data Mining) 분석 방법론 프로세스
1996년 유럽 연합의 ESPRIT에서 있던 프로젝트에서 시작되어 SPSS, NCR, Daimler, Chrysler 등이 참여함

• 폭포수 모델처럼 일방향이 아닌, 단계 간 피드백으로 단계별 완성도를 높인 모델
• 계층형 프로세스 모델로써 4레벨, 6개의 프로세스로 구성됨

 

1. 업무 이해(Business Understanding)
   업무 목적 파악, 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립
2. 데이터 이해(Data Understanding)
   초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인
3. 데이터 준비
   분석용 데이터셋 선택, 데이터 정제, 분석용 데이터셋 편성, 데이터 통합, 데이터 포매팅
4. 모델링
   모델링 기법 선택, 모델 테스트 계획 설계, 모델 작성, 모델 평가
   • 데이터셋이 추가로 필요한 경우 데이터 준비 프로세스를 반복 수행함
   • 테스트용 데이터셋으로 평가하여 모델의 과적합 문제를 확인함
5. 평가
   분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가
6. 전개
   전개 계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료 보고서 작성, 프로젝트 리뷰

 

빅데이터 분석 방법론

단계(Phase) → 테스크(Task) → 스텝(Step)

 

[분석 기획]
분석 목표 설정이 가장 중요함

• 비즈니스 이해 및 범위 설정
  관련 데이터 파악: 분석의 기본이 되는 가용 데이터에 대한 고려가 필요함
  • 프로젝트 범위 정의서(SOW; Statement of Works): 프로젝트 관리 분야에서 서비스를 통해 제공하기 위한 활동, 산출물, 작업시간 등을 포함하는 기술서 비즈니스 이해 및 범위 설정 테스크의 산출물
• 비즈니스 케이스 확보
  분석을 통해 가치가 창출될 수 있는 적절한 활용방안과 활용 가능한 유즈케이스 탐색이 필요함
• 이행 저해 요소 관리
  분석을 수행하며 발생하는 장애 요소들에 대한 사전 계획 수립이 필요함
  • 4가지로 구분해 위험 관리 계획서를 작성함
    회피(Avoid), 전이(Transfer), 완화(Mitigate), 수용(Accept)

 

[데이터 준비]

• 필요 데이터 정의
• 데이터 스토어 설계
• 데이터 수집 및 정합성 검정

 

[피드백]
데이터 분석 과정에서 추가 데이터 확보가 필요한 경우 데이터 준비 단계에 피드백을 보냄

 

[시스템 구현]

• 설계 및 구현: 시스템 설계 및 구현, 테스트 및 운영이 주요 고려사항
  • 시스템 설계서를 바탕으로 BI 패키지를 활용하거나 새롭게 프로그램 코딩을 통해 시스템을 구축함