[빅데이터분석기사 요약정리노트 O4] 빅데이터 분석 절차

빅데이터 분석 절차

• 분석 데이터 확보 선행
• 빅데이터 분석
  • 분석 기획
  • 데이터 준비
  • 데이터 분석
  • 시스템 구현
  • 평가 및 전개

데이터 확보

• 고려사항
  • 데이터 위치, 유형, 수집기술, 분석 방법을 고려해야 함.
  • 위치: 내부 데이터인가, 외부 데이터인가?
  • 유형: 정형, 반정형, 비정형 데이터 유형을 따지고 전처리 해야 할 것
  • 기술: 유형이나 양을 고려해서 알맞은 수집 기술을 검토
  • 분석 방법: 데이터에 따라 분석 방법이 달라짐
  • 비식별화: 사전에 비식별화 조치를 해야 함
• 확보 계획 수립
  • 데이터 확보에 대한 구체적인 성과 목표를 정의
  • 요구사항을 도출하고 그에 맞는 예산안을 수립
  • 프로젝트 관리를 위한 확보 계획을 수립
• 확보 방안 수립
  • 조직 및 법률상의 제약 여부도 따져야함
  • 데이터의 품질 수준등을 정해서 구체적인 확보안을 세운다.

빅데이터 분석 절차

• 분석 기획 - 데이터 준비 - 데이터 분석 - 시스템 구현 - 평가 및 전개
• 분석기획
  • 비즈니스 이해: 비즈니스 도메인에 대한 충분한 이해 선행
  • 프로젝트 범위 설정: 목적에 부합하는 범위를 명확하게 설정할 것. -> SOW(Statement Of Work) 도출
  • 프로젝트 정의: 모델의 평가 기준을 설정해서 프로젝트의 정의를 명확히한다.
  • 프로젝트 계획 수립: 구체적인 프로젝트 수행 계획을 수립. WBS를 만든다.
  • 위험 계획 수립: 발생 가능한 모든 위험 요인을 발굴해서 사전에 대응 방안을 수립한다.
• 데이터 준비
  • 필요한 데이터를 정의하고
  • 데이터 스토어를 설계하고
  • 데이터를 수집한다
• 데이터 분석
  • 분석 데이터 준비
  • 텍스트 분석
  • 탐색적 분석 (EDA)
  • 모델링
  • 모델 평가 및 검증
• 시스템 구현
  • 도출된 모델을 운영중인 시스템에 적용 또는 프로토타입 시스템을 구현
  • 시스템 설계 및 구현
  • 시스템 테스팅 및 운여
• 평가 및 전개
  • 프로젝트 성과 평가 및 정리
  • 차기 모델 발전 계획 수립
  • 유지보수, 평가 보고 등을 수행 (마무리단계)

WBS(작업 분할 구조도, Work Breakdown Structure)

• 프로젝트 팀에서 목표 달성을 위해 필요한 산출물들을 만들기 위해 필요한 작업을 계층구조화해 놓은 것.

프로젝트 위험 대응 방법

• 회피
• 전이
• 완화
• 수용