ADsP 1과목 3-3 빅데이터 그리고 데이터 사이언스의 미래 | 정리📝

3. 빅데이터 그리고 데이터 사이언스의 미래

급변하는 환경에서 예측하지 못했던 전환이나 위기에 빨리 적응할 수 있게 할 것

 

서비타이제이션(Servitization)

• Service Science의 하나로 제품과 서비스의 결합을 통한 기업의 새로운 비즈니스 모델임
• 제품의 서비스화와 서비스의 상품화를 모두 포함하는 결합 모델
• 파이프 라인 비즈니스를 넘어 플랫폼 비즈니스를 위한 모델

 

미래 사회의 특성과 빅데이터의 역할

• 융합 — 창조력
• 리스크 — 대응력
• 불확실성 — 통찰력
• 스마트 — 경쟁력

미래 가치 패러다임의 변화에서 빅데이터 분석 활용 능력은 핵심적인 역할임

디지털화(Digitalization) → 연결(Connection) → 에이전시(Agency)

기업의 빅데이터 분석은 기업의 분석 문화에 영향을 많이 받음

 

---

 

여기선 DBMS의 특징, 개인정보 비식별 기술 내용이 중요해요
가끔 데이터양의 단위 문제도 출제됩니다
문제 풀고 정리한 내용 넣어 둔 거라 기출에 한 번씩은 있다고 생각해 주세요

 

최신 빅데이터 상식

DBMS(Database Management System)
사용자와 데이터베이스 사이에서 사용자의 요구에 따라 정보를 처리해주고 데이터베이스를 관리, 운영하는 소프트웨어

• 정의, 조작, 제어라는 3가지 필수 기능이 있음
• 데이터베이스에는 분석이 불가한 데이터도 있음 (처리 등을 통해 분석에 활용 가능)
• DBMS 소프트웨어를 사용해 데이터베이스를 구축하고 유지함
• RDBMS는 데이터를 2차원 테이블로 표현하지만, 모든 데이터가 이런 방식은 아님
  NoSQL 데이터베이스는 분석, key-값, 그래프 등 다양한 데이터 모델을 사용함
• 관계형(Relational)
  DBMS 테이블 기반으로 일반적으로 사용함
• 객체지향(Object-Oriented) DBMS
  객체 형태로 복잡한 구조를 표현, 관리 가능함
• 망형(Network) DBMS
• 계층형(Hierarchical) DBMS
• 객체관계형(Object-Relational) DBMS

데이터베이스 설계 절차
요구사항 분석 → 개념적 설계 → 논리적 설계 → 물리적 설계 → 구현

 

SQL(Structured Query Language)

데이터베이스와의 통신을 위해 고안된 데이터베이스 하부 언어

 

SQL 명령어

• DDL(Data Definition Language): 데이터 정의어
  CREATE
• DML(Data Manipulation Language): 데이터 조작어
  SELECT, INSERT, UPDATE, DELETE

SQL 집계 함수

함수명 유형별 가능 여부

AVG	수치형
COUNT	수치형, 문자형
SUM	수치형
STDDEV	수치형
MIN	수치형
MAX	수치형

 

RDB와 NoSQL

• RDB - 열 기반 관계형
  Oracle, MySQL(Oracle), MS-SQL(Microsoft), DB2 · Infomix(IBM), Maria(Sun Microsystems), Derby(Apache), SQLite(오픈소스)
  • Oracle, DB2 · Infomix(IBM) 등은 엄밀히 말하면 객체 관계형 DB로 객체지향 개념을 도입한 것으로, 오늘날에는 많은 RDB가 이러한 객체지향 프로그램을 포함하고 있음
• NoSQL - 비관계형
  Document-Oriented DB: CouchDB, MongoDB, Elasticsearch, Cloudant
  • Key-Value DB: 아마존의 Dynamo, Redis, Riak, Conherence, SimpleDB
  • Column-Oriented DB: 구글의 Bigtable, Cassandra, HBase, HyperTable

 

데이터 추출 명령문
select from where _A% : 두번째 글자가 A인 데이터 추출

 

HAVING: 그룹함수(GROUP BY절)를 적용해 나온 결과값 중 원하는 조건에 부합하는 자료만 산출할 때 사용하는 함수

데이터베이스의 구성요소

• 메타데이터(Meta Data): 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명해 주는 데이터
• 인덱스(Index): 데이터베이스 내의 데이터를 신속하게 정렬하고 탐색하게 해주는 구조

 

개인정보 비식별 기술

• 데이터 마스킹(Data Masking): 데이터의 길이, 유형, 형식 같은 속성을 유지한 채, 새롭고 읽기 쉬운 데이터를 익명으로 생성하는 기술 (별표 처리)
• 데이터값 삭제(Data Reduction): 개인 정보 식별이 가능한 특정 데이터 값 삭제 처리
• 가명처리(Pseudonymization): 개인 식별이 가능한 데이터에 대해 직접적으로 식별할 수 없는 다른 값으로 대체
• 범주화(Data Suppression): 단일 식별 정보를 해당 그룹의 대표값으로 변환
• 총계처리: 개별 데이터 값을 총합 또는 평균값으로 대체하는 것
• 난수화: 특정한 순서나 규칙을 갖지 않는 무작위 숫자로 변환
  고객의 개인정보가 데이터 해독이 불가능한 난수화를 통해 변경된 채로 기업에 전송됨
• 익명화: 개인 식별 정보를 삭제하거나 알아볼 수 없는 형태로 변환

하둡(Hadoop)
분산처리 시스템으로 빅데이터 플랫폼 환경 구축을 위해 사용함

 

머신러닝

Anaconda: 머신러닝 기능을 강화해 주는 소프트웨어

 

딥러닝(Deep Learning)
다층 구조 형태의 신경망을 바탕으로 하는 머신러닝의 한 분야

• 딥러닝 분석 기법: CNN, LSTM, Autoencorder
• 딥러닝 활용 오픈소스: Caffe, Tensorflow, Theano

 

데이터양의 단위

바이트(byte), 메가바이트(MB), 기가바이트(GB), 테라바이트(TB)

페타바이트(PB), 엑사바이트(EB), 제타바이트(ZB), 요타바이트(YB)

 

B2B 기업: 기업 간 전자상거래를 진행하여 지속적인 데이터 생성이 어려움

B2C 기업: 고객을 상대로 하기 때문에 고객의 데이터가 지속적으로 생성됨

 

<추가 정리>

추출: 정보를 제공하는 분석기술

*분석기술: 최적화, 모델링, 권고, 시뮬레이션, 예측 등은 통찰력을 제공함

 

BI(Business Intelligence): 데이터 기반 의사결정을 지원하기 위한 리포트 중심의 도구

• Tableau: BI를 위한 시각적 분석 소프트웨어

Business Analytics: 의사결정을 위한 통계적이고 수학적인 분석에 초점을 둔 기법