1과목 - 빅데이터 분석 기획

1. 빅데이터의 이해

데이터 (특성2)

존재적 특성 - 현실을 그대로 반영

당위적 특성 - 맥락 속 의미부여 가능

 

DIKW 피라미드 (구성요소, 요소별 특징)

data 데이터: 가공 전의 객관적인 사실

information 정보: 패턴 인식

knowledge 지식: 패턴을 통해 의사결정 활용

wisdom 지혜: 창의적인 전략

 

암묵지와 형식지 간 상호작용 4가지 

공통화: 암묵지 지식을 다른 사람에게 알려줌

표출화: 암묵지 지식을 메뉴얼이나 문서로 전환

연결화: 교재, 메뉴얼에 새로운 지식 추가, 형식지를 재분류하여 체계화하는 과정

내면화: 만들어진 교재, 메뉴얼에서 다른 사람의 암묵지를 터득

공표연내로 외우기

 

데이터베이스의 대표적인 특징 4가지

공용 데이터: 여러 사용자가 다른 목적으로 데이터 공동 이용

통합된 데이터: 동일한 데이터 중복되어 있지 않음

저장된 데이터: 저장매체에 저장

변화하는 데이터: 새로운 데이터 추가 수정 삭제에도 현재의 정확한 데이터 유지

공통저변으로 외우기

 

데이터베이스 설계 절차 3단계

개념적 설계 -> 논리적 설계 -> 물리적 설계

개논물로 외우기

 

SQL 명령어

DDL 데이터정의언어 - CREATE, ALTER, DROP

DML 데이터조작언어 - SELETE, INSERT, DELETE, UPDATE

DCL 데이터제어언어 - GRANT, REVOKE

TCL 트렌젝션제어언어 - ROLLBACK, COMMIT

 

기업 내부 활용 데이터베이스 단어들

OLTP 데이터 갱신 위주, 현재 시점의 데이터만을 데이터베이스가 관리한다는 개념

OLAP 데이터 조회 위주

CRM

SCM

ERP

RTE

BI

BA

Block Chain

KMS

 

OLTP 트렌젝션의 T, 다량의 단기 거래 실시간 처리

OLAP Analytics의 A, 다차원 데이터 대화식 분석

CRM customer relation 고객과 관련자료 분석하여 마켓팅에 활용

SCM supply chain 공급망 연결 최적화

ERP enterprise resource 기업 경영 자원 최소화

RTE real time 최신 정보로 신속한 의사결정

BI 기업 보유 데이터 정리, 분석하는 리포트 중심 도구

BA 통계 기반 비지니스 통찰력

Block Chain 네트워크에 참여한 모든 사용자가 정보를 분산, 저장

KMS 기업의 모든 지식을 포함

 

빅데이터의 출현 배경 (가장 중요한 것2, 덜 중요4)

가장 중요한 배경

1. 클라우드 컴퓨팅(온디맨드)

2. 분산 처리 기술(하둡기반)

 

덜 중요

1. 비정형 데이터의 확산

2. 디지털화

3. 인터넷 및 모바일 기기의 보급

4. IoT발달

 

빅데이터의 3V, 추가 V들

3V: 규모 다양성(유형) 속도

valume 규모, 데이터의 양 증가

variety 다양성(유형), 데이터 유형의 증가

velocity 속도, 데이터 생성, 처리 속도의 증가

 

추가 V들

value 가치

veracity 신뢰성

validity 정확성

volatility 휘발성

visualization 시각화

 

데이터의 단위 8가지

KB MB GB TB PB EB ZB YB

킬로 메가 기가 테라 페타 엑사 제타 요타

 

빅데이터를 활용하기 위해 필요한 3대 요소

인력 알고리즈미스트, 데이터 사이언티스트

자원 빅데이터

기술 빅데이터플랫폼, AI

인자기로 외우기

 

빅데이터가 만들어내는 변화 4가지 (조사, 처리, QQ, 관계)

1. 표본조사 -> 전수조사

2. 사전처리 -> 사후처리

3. 질 -> 양

4. 인과관계 -> 상관관계

전후양상으로 외우기

 

데이터 사이언티스트의 필요역량 2가지, 가트너가 제시한 역량 4가지

hard skill - 이과적...

soft skill - 문과적...

 

가트너가 제시한 역량

1. 데이터 관리

2. 분석 모델링

3. 비지니스 분석

4. 소프트 스킬

 

빅데이터 가치 패러다임 변화 3단계

digitalization -> connection -> agency

아날로그 세상을 디지털 세상으로 바꾸고

디지털화된 정보들끼리 연결되고

연결된 정보가 스스로 행동하는 주체가 됨

 

빅데이터 조직 구조 3가지(특징2 2 1)

집중 구조) 독립적인 전담 조직 구성, 중복업무의 가능성 존재, DSCoE 완전 필요

기능 구조) 해당 부서에서 직접 분석, DSCoE가 없음

분산 구조) 분석 조직 인력을 현업 부서에 배치, DSCoE가 있지만 부서단위로 흩어짐

 

빅데이터 플랫폼 (정의, 계층 구조 3개, 범위에 따른 구분)

빅데이터 플랫폼) 데이터의 수집, 저장, 처리, 분석 등의 파이프라인 전 과정을 통합적으로 제공하는 환경

 

빅데이터 플랫폼의 계층 구조

1. 소프트웨어 계층) 데이터 수집 및 정제, 데이터 처리 및 분석, 사용자/서비스 관리 

2. 플랫폼 계층) 데이터 및 자원의 관리, 작업스케줄링, 프로파일링(데이터 검진)

3. 인프라스트럭처 계층) 자원의 배치 및 관리, 저장장치 및 네트워크 관리

소프트웨어 계층이 상위 계층, 인프라스트럭처 계층이 하위계층

 

범위에 따른 구분

1. 광의의 분석 플랫폼) 분석 서비스 제공엔진, 분석 어플리케이션, 분석 서비스 API, 하드웨어

2. 협의의 분석 플랫폼) 데이터 처리 프레임워크, 분석 엔진, 분석 라이브러리

광의의 분석 플랫폼은 협의의 분석 플랫폼을 포함한다. 

 

경량 딥러닝 학습 기법

전이학습 - 사전에 훈련된 모델을 재사용하는 학습 방식

파인튜닝 - 학습된 모델을 특정 타겟에 맞게 재조정하는 방법

 

데이터 3법 (이름)

1. 개인정보보호법

2. 정보통신망법

3. 신용정보법

 

데이터 3법 주요 특징 4가지

1. 가명정보의 개념 도입(동의없이 활용 가능)

2. 개인정보보호 거버넌스 체계 효율화

3. 개인정보관리자 책임 강화

4. 개인정보 판단기준 명확화

 

개인정보 비식별 조치 가이드라인 4단계

사전검토 -> 비식별조치(총계, 삭제, 마스킹) -> 적정성평가(K I t) -> 사후관리

 

빅데이터의 발전으로 인한 부작용 3가지

1. 알고리즘 편향

2. 프라이버시 침해

3. 책임소재 불명확

 

개인정보 활용 위기 요인3, 통제방안3

1. 사생활 침해
제공자에서 사용자 책임으로 전환

2. 책임 원칙 훼손

결과에 대해서만 책임

3. 데이터의 오용

알고리즘 접근 허용 및 알고리즘 해석 가능한 알고리즈미스트가 필요

 

데이터 산업의 진화

데이터 처리 시대

데이터 통합 시대 - 데이터 모델링과 데이터베이스 관리 시스템이 등장

데이터 분석 시대 - 하둡, 스파크 등의 빅데이터 기술 등장

데이터 연결 시대 

데이터 권리 시대 - 마이데이터(개인이 자신의 데이터에 대한 권리를 보유하고 있으며 스스로 행사할 수 있어야 한다..) 등장 

 

정보의 특징

관련성 적당성 적시성 정확성 ㅔ등이 있고
일관성은 아니다. 

 

데이터 산업 구조 분류

데이터 인프라 영역) 하드웨어(서버, 스토리지) 공급, 컴퓨팅 자원 제공, 데이터 보안 솔루션 구축 등

데이터를 수집, 관리, 저장하기 위한 물리적 환경과 기술을 제공하는 영역

 

데이터 서비스 영역) 데이터 분석 컨설팅, 데이터 표준화 가이드 제공, 데이터 기반 마케팅, 금융 서비스 등 

데이터를 활용하여 부가가치를 창출하거나 전문적인 기술을 지원하는 영역

하지만 도출된 인사이트 기반의 새로운 아이디어 제공은 오답이다. 서비스 영역에서는 데이터 자체나 데이터를 가공한 정보를 제공하는 것이고, 새로운 아이디어는 서비스를 제공받는 사람이 생각해야 한다. 

2. 데이터 분석 계획

분석 기획 방향성 도출 (분석 대상과 방법에 따른 분류, 접근 방식에 따른 분류)

분석 대상과 방법에 따른 분류

대상 모름, 방법 모름 -> 발견

대상 모름, 방법 앎 -> 통찰

대상 앎, 방법 모름 -> 솔루션

대상 앎, 방법 앎 -> 최적화

 

접근 방식에 따른 분류

1. 과제 중심적 접근
빠르게 해결

문제 해결

 

2. 장기적 마스터 플랜

정확도, 장기간

문제 정의

 

분석 기획 시 고려사항 3개

1. 가용 데이터 파악

2. 적절한 유스케이스 탐색

3. 장애요소에 대한 사전계획 수립

 

IT프로젝트 우선순위 선정 기준

중장기 마스터 플랜을 수립하기 위해 ISP를 활용 

1. 전략적 중요도) 전략적 필요성, 시급성

2. 실행 용이성) 투자 용이성, 기술 용이성

 

데이터분석 프로젝트 우선순위 산정 기준

1. 시급도 관점) 비지니스 효과, KPI(핵심 성과 지표), - Value(비지니스 효과가 클수록 시급도가 높다고 판단)

2. 난이도 관점) 투자비용 요소 - 3V (규모 다양성 속도에 따라 난이도가 결정)

분석 문제 정의 - 하향식 접근 방법 (4단계, 첫번째)

문제 탐색 -> 문제 정의 -> 해결방안 탐색 -> 타당성 검토

 

여기서 "문제탐색" 단계의 비지니스 모델 기반 탐색: 업무, 제품, 고객, 규제와 감사, 지원인프라 

지원인프라 업무 중에 고객이 제품을 규제와 감사 했다. 

 

분석 문제 정의 - 상향식 접근 방법 (4단계, 상향식 접근법 적용 방법 2가지)

프로세스 분류 -> 프로세스 흐름 분석 -> 분석요건 식별 -> 분석요건 정의 

 

상향식 접근법 적용 방법: 비지도학습, 프로토타이핑 접근법

 

혼합 접근 방법 (OO단계 2개, 혼합접근방법 예시, 5단계)

발산 단계 - 상향식, 가능한 방안들을 도출

수렴 단계 - 하향식, 도출된 방안들을 분석

 

디자인싱킹: 사용자 공감으로 시작해서 아이디어 발산/수렴 과정을 통해 발전하는 방식

공감하기 -> 문제정의 -> 아이디어 도출 -> 프로토타입 -> 테스트

 

분석 방법론의 구성요소 4가지

절차, 방법, 도구와 기법, 템플릿과 산출물 

 

분석 모델의 유형 5가지와 각 특성 

계층적 프로세스 모델 - 단계(베이스라인)으로 관리, 태스크, 스텝(워크패키지)

폭포수 모델 - 이전단계 완료 -> 이후단계 진행

프로토타입 모델 -> 일부분 우선 개발 후 보완

나선형 모델 -> 위험요소 제거 초점

애자일 모델 -> 스프린트라는 짧은 개발 주기 거치고 고객 피드백 지속 반영

 

KDD 분석 방법론 5단계

데이터 선택 - 원시 데이터나 데이터베이스에서 필요한 데이터 선택

전처리 - 이상값, 잡음 식별 및 데이터 가공

변환 - 변수 선택 및 차원축소

마이닝 - 알고리즘을 선택하여 분석 수행

평가 - 결과에 대한 해석, 결과가 충족되지 않으면 절차 반복 수행

 

Crisp-DM 분석 방법론 6단계

업무이해

데이터이해

데이터준비

모델링 - 모델 작성 및 평가

평가 - 모델평가 빼고 모든 것을 평가 

전개 - 위대한 실패 발생하면 다시 업무이해로...

 

SEMMA 분석 방법론 5단계

sampling(샘플링) -> Explore(탐색) -> Modify(변형) -> Model(모델링) -> Assess(평가)

 

빅데이터 분석 방법론의 분석 기획 (비지니스 이해 및 범위 설정, 프로젝트 정의 및 계획 수립)

비지니스 이해 및 범위 설정) SOW(Statement of Works) - 구조화된 프로젝트 정의서

프로젝트 정의 및 계획 수립) WBS(Work Breakdown Structure) - 작업 분할 구조

 

빅데이터 분석 방법론의 데이터 분석 종류

탐색적 데이터 분석(EDA): 기초통계량 및 시각화를 통해 데이터 특성 파악

 

데이터 분석 수준 진단 (분석 준비도 6개, 분석 성숙도 책에...)

 IT문 데기 인파

 

IT 인프라

분석 문화

분석 데이터

분석 기법

인력 및 조직

분석적 업무 파악

 

분석 수준 결과 진단

준비도와 성숙도가 둘다 높다면 확산형

준비도는 높은데 성숙도가 낮다면 도입형

준비도는 낮은데 성숙도가 높다면 정착형

준비도와 성숙도 둘다 낮으면 준비형 - 6가지 분석 구성요소가 모두 갖추고 있음, 지속적 확산 가능

 

분석 과제에서 고려해야할 5가지

데이터 크기, 속도, 데이터 복잡도, 분석 복잡도, 정확도/정밀도

여기서 정확도와 정밀도는 트레이드오프 관계

 

프로젝트 관리 지식 체계 10가지 영역

통합 범위 시간 원가 품질 인적자원 의사소통 리스크 조달 이해관계자

이범통이 의자에서 시원한 조리품을 먹었다. 

 

분석 거버넌스 체계 구성요소 (데이터 분석이라는 일을 어떻게 할 것인가)

시조 프로마인드 데

 

시스템 조직 프로세스 분석관련 교육 및 마인드 육성체계, 데이터

 

데이터 거버넌스 구성요소 (3가지, 데이터 거버넌스 체계 4가지)

데이터 거버넌스 구성요소) 원칙, 조직, 프로세스

데이터 거버넌스 체계) 데이터 표준화, 데이터 관리 체계, 저장소 관리, 표준화 활동

 

3. 데이터 수집 및 저장 계획

데이터 수집 기술

ETL: Extraction Transformation, Load

FTP: TCP/IP 네트워크에서 컴퓨터들 간의 파일을 교환하기 위한 통신 규약

API: 응용 프로그램에서 다른 프로그램으로 데이터를 전송할 수 있는 인터페이스

아파치 스쿱: RDBMS와 하둡간 대용량 데이터 전송 도구 

아파치 플럼: 대량의 로그 데이터를 효율적으로 수집, 전송하는 분산형 서비스 시스템

웹 크롤링: 웹 상 데이터 탐색, 수집 기법

 

데이터 분류 (정형 반정형 비정형 / 가역 비가역)

정형데이터 - 행과 열로 구성된 구조화

반정형데이터 - 데이터를 설명하는 메타데이터 포함

비정형데이터 - 구조화 ㄴㄴ

가역데이터 - 생산된 데이터의 원본으로 환원이 가능한 데이터 (비가공데이터)

비가역데이터 - 원본으로 환원이 불가능한 데이터, 원본데이터의 내용이 변경되었더라도 변경사항을 반영할 수 없음 (가공데이터)

데이터는 단순한 객체로도 가치가 있으며, 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. 

정량적데이터는 정형데이터와 반정형데이터이고, 정성적 데이터는 비정형데이터이다. 

정량적데이터는 주로 객관적 내용을, 정성적데이터는 주로 주관적 내용을 내포한다.

 

프라이버시 보호 모델 (k, I, t)

k-익명성

같은 값이 존재하도록 하여 다른 정보랑 결합할 수 없게 함

연결공격으로부터 보호

 

I-다양성

민감 정보의 다양성을 높여서 추론 가능성을 낮춤

동질성 공격과 배경지식에 의한 공격으로부터 보호

 

t-근접성

민감 정보의 분포를 낮추어 추론 가능성을 더욱 낮춤

쏠림 공격이나 유사성 공격으로부터 보호

 

차등정보보호 (정의, 기법2)

개인정보를 다른 수많은 데이터와 조합하여 개인정보 침해하지 않고 정보 패턴 발견

기법) 섭동(오차를 활용한 교란), 이중지수분포 활용 등의 기법

 

데이터 품질 진단 및 개선 절차

진단 절차) 진단 대상 정의 -> 품질 진단 실시 -> 진단 결과 분석

개선 절차) 개선 계획 수립 -> 개선 수행 -> 품질 통제

 

분산 파일 시스템

GFS 구글 파일 시스템

HDFS 하둡 분산파일 시스템

 

관계형 데이터베이스 vs NoSQL 데이터베이스 (다루는 데이터 유형, 각각 이점)

관계형 데이터베이스 - 정형 데이터의 처리, 데이터의 무결성 보장

NoSQL 데이터베이스 - 비정형 데이터의 처리, 확장성과 가용성에 이점

 

저장소 (DAS, NAS, SAN)

DAS) 서버와 저장소가 Direct로 물리적으로 직접 연결

NAS) LAN네트워크를 통해 여러 컴퓨터가 동일 저장소 공유

SAN) 특수 목적용 고속 네트워크와 스위치를 통해 연결

 

데이터웨어하우스 (특징 4가지, 구성요소 2가지)

<특징>

1. 주제지향성

2. 데이터 통합 이 특징 때문에 분리되어있다는 말이 나오면 무조건 오답 

3. 시계열성

4. 비휘발성

 

<구성요소>

1. ETL 추출 정제 적재 엔드투엔드 프로세스

2. ODS 다양한 DBMS에서 추출한 데이터 임시 저장

데이터웨어하우스의 메타데이터는 데이터 모델에 대한 스키마 정보 등을 제공

하둡 (정의, 하둡 코어프로젝트2)

정의) 여러 컴퓨터를 하나로 묶어서 대용량 데이터를 처리하는 오픈소스 빅데이터 솔루션

 

하둡코어프로젝트 

1. HDFS) 하둡 분산 파일 시스템

2. MapReduce - 분산된 데이터를 병렬로 처리

Map 단계) 데이터를 key, value로 변환

Reduce 단계) Map단계의 결과를 집계