ADsP 1과목 2-1 빅데이터의 이해 | 정리📝

3V, 4V 외에도 중요한 내용이 많아요
모두 기출에 잘 나오는 부분이니 암기 잘 해주세요

 

1. 빅데이터의 이해

빅데이터: 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 아키텍처

• 빅데이터 수집, 구축, 분석의 최종목적은 새로운 통찰과 가치 창출
• 데이터가 커진다고 해서 많이 사용하는 것이 아니라, 적정한 분석 방법이 경쟁 우위를 가져다줌
• 데이터가 많다고 무조건 더 많은 가치를 창출하는건 아님
• 비즈니스 핵심에 대해 보다 객관적이고 종합적인 통찰력을 줄 수 있는 데이터를 찾는 것이 중요함

 

더그 래니의 3V

가트너 그룹의 부회장인 더그 래니의 빅데이터 특징

• Volume(양): 데이터양 증가
• Variety(다양성): 데이터 유형 증가
• Velocity(속도): 데이터 수집 및 처리 속도의 증가

빅데이터의 새로운 특징 4V

더그 래니의 3V에 추가로 Value 혹은 Veracity 등을 추가하기도 함

• Value(가치): 데이터 전체를 파악하고 패턴을 발견하기 어려워지면서 가치의 중요성이 강조됨

 

빅데이터의 출현 배경이 된 기술

• 고객 데이터 축적 및 활용 증가(CRM의 확대), 인터넷 확산, 무선통신의 발전(5G), 모바일 생태계 확산, 스마트폰의 보급 확대, 저장 기술의 발전
• 메모리 가격 하락, 클라우드 컴퓨팅 기술 발전, SNS 확대, IoT 증가, 하둡, M2M, 데이터 분석 툴의 발전 등
  • 클라우드 컴퓨팅: 인터넷을 통해 서버, 스토리지, 데이터베이스, 네트워킹, 소프트웨어, 분석, 인텔리전스 등 컴퓨팅 서비스를 제공하는 것 빅데이터의 처리비용을 낮춰 경제성을 제공함
  • IoT(Internet of Things): 인터넷을 기반으로 모든 사물을 연결해 정보를 상호 소통하는 지능형 기술 및 서비스이며, 사물에서 생성되는 Data를 활용한 분석을 통해 마케팅 등에 활용 가능
    빅데이터 관점에서 모든 것의 데이터화(Datafication)
    통신 기술 발전

빅데이터의 기능

• “산업혁명의 석탄 · 철” : 제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회 · 경제 · 문화 · 생활 전반에 혁명적 변화를 가져올 것으로 기대
• “21세기 원유” : 빅데이터도 원유처럼 각종 비즈니스, 공공기관 대국민 서비스, 그리고 경제 성장에 필요한 정보를 제공하여 산업 전반의 생산성을 향상시키고 새로운 범주의 산업을 만들어낼 것으로 기대
• “렌즈” : 렌즈를 통해 현미경이 생물학 발전에 끼쳤던 영향만큼, 빅데이터도 렌즈처럼 산업 발전에 큰 영향을 줄 것으로 기대
  ex) 구글의 Ngram Viewer: 확인하기 힘들던 부분을 찾을 수 있게 해줌
• “플랫폼” : 플랫폼은 공동 활용의 목적으로 구축된 유무형의 구조물을 말함 빅데이터는 플랫폼으로서 다양한 서드파티 비즈니스에 활용될 것으로 기대
  ex) 페이스북, 카카오톡

빅데이터가 만들어내는 변화 - 후전양상

• 사전처리 → 사후처리: 가능한 많은 데이터를 모으고 데이터를 다양한 방식으로 조합하여 숨은 인사이트를 발굴
• 표본조사 → 전수조사: IoT · 클라우드 기술의 발전으로 데이터 처리 비용이 감소하면서 데이터 활용 방법이 표본조사에서 전수조사로 변화
• 질 → 양: 수집 데이터의 양이 증가할수록 분석의 정확도가 높아져 양질의 분석 결과 산출에 긍정적인 영향 사소한 오류는 분석 결과에 영향을 주지 못하므로 정교한 표본조사가 필요 없음
• 인과관계 → 상관관계: 특정한 인과관계가 중요시되던 과거와 달리, 데이터의 양이 급격하게 늘어나면서 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 그에 상응하는 행동을 추천하는 등 상관관계를 통한 인사이트 도출 확산