[빅데이터]

빅데이터 등장 배경

 

정형화된 데이터와 비정형화된 데이터가 무수히 발생하며 정보 홍수개념이 등장.

-> 이것이 오늘날의 빅데이터 개념으로 이어진다.

 

 

제타바이트 시대를 스마트 시대라고 한다.

 

 

패러다임의 지능화, 개인화된 시대를 빅데이터 시대라고한다.

 

 

빅데이터는 미래경쟁력과 가치창출의 원천

 

속성

• 규모 : 데이터의 크기
• 다양성 : 다양한 종류의 데이터를 수용하는 속성
• 속도 : 데이터를 빠르게 처리하고 분석할 수 있는 속성
• 정확성 : 데이터에 부여할 수 있는 신뢰수준
• 가치 : 빅데이터를 저장하려고 IT인프로 구조 시스템을 구현하는 비용

빅데이터 종류

종류	설명
정형	고정된 필드에 저장된 데이터 (관계형 DB, 스프레드시트)
반정형	고정된 필드에 저장되어 있지는 않지만, 메타데이터나 스키마등을 포함하는 데이터 (XML, HTML)
비정형	고정된 필드에 저장되어 있지 않은 데이터 (텍스트 분석이 가능한 텍스트문서, 이미지,동영상,음성 데이터)

빅데이터는 사회적인 소통, 자기표현, SNS 개인 및 시스템에 사용됨

 

빅데이터 처리 특징

구분	처리특징
의사 결정 속도	빠른 의사 결정이 상대적으로 덜 요구되어 장기적, 전략적 접근 필요
처리 복잡도	다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리로 처리 복잡도가 높아 분산 처리 기술 필요
데이터 규모	처리할 데이터 규모가 방대, 즉. 고객 정보 수집 및 분석을 장기간에 걸쳐 수행해야 하므로 처리해야할 데이터 양이 방대함
데이터 구조	비정형 데이터의 비중이 높음, 즉. 소셜 미디어 데이터, 로그파일, 스트림데이터, 콜센터 로그 등 비정형 데이터 파일의 비중이 높음
분석 유연성	처리.분석 유연성이 높음. 즉 잘 정의 된 데이터 모델, 상관관계, 절차 등이 없어 기존 데이터 처리방법에 비해 처리 및 분석 유연성이 높음
처리량	동시 처리량이 낮음. 즉, 대용량 및 복잡한 처리가 가능하여 동시에 처리할 수 있는 데이터 양이 적어 실시간 처리가 보장되어야 하는 데이터 분석에는 부적합