안녕하세요 오늘은 빅데이터에 대해서 알아보겠습니다.
빅데이터(Big Data)
빅데이터란 말 그대로 대용량의 데이터를 의미합니다. 이 데이터는 다양한 소스에서 수집이 되며, 기존 데이터베이스 관리도구로는 처리할 수 없는 정형 또는 비정형 데이터로 구성되어 있습니다. 빅데이터의 특징은 크게 3가지로 나눌 수 있습니다.
- 첫 번째로, 데이터의 양이 매우 많다는 것입니다. 빅데이터는 수십 테라바이트부터 수 백 페타바이트 이상까지 다양한 규모의 데이터를 다룹니다.
- 두 번째로, 다양한 소스에서 수집됩니다. 소셜 미디어, 모바일 기기, 센서, 기업 시스템 등 다양한 소스에서 데이터를 수집합니다.
- 마지막으로, 빅데이터는 배치 처리가 아닌 실시간 처리가 필요합니다. 이러한 빅데이터는 데이터 분석과 추출을 통해 비즈니스 관점에서 활용됩니다.
예를 들어, 소셜 미디어에서 얻은 데이터는 고객의 니즈와 행동을 파악하여 마케팅 전략을 수립하는 데에 활용됩니다. 또는, 기계 센서에서 수집한 데이터는 제조라인의 고장을 예측하여 정비를 미리 수행하는 데에 활용됩니다. 빅데이터의 활용성은 무궁무진합니다. 정부는 빅데이터 분석을 통해 정책에 반영하고, 기업은 비즈니스 의사결정에 활용하며, 개인은 건강, 생활 패턴 등에 대한 분석을 통해 자신의 적합성을 파악하고 개선에 활용합니다.
결국, 빅데이터는 차세대 산업의 핵심 기술로 자리 잡을 것으로 보입니다. 예측할 수 없는 인공지능, 자율주행, 스마트팩토리 등에 빅데이터 분석이 활용될 것이며, 빅데이터 관련 기술, 분석, 인력 등 점점 더 많은 관심과 투자가 필요할 것입니다.
- 새로운 소비자 인사이트 또는 가치를 창출하는데 중요한 역할을 하는 대용량의 데이터
- 인터넷 웹, SNS 등에서 생산되는 데이터를 포함하는 개념
빅데이터의 3요소
Volume(양)
- 빅데이터가 지닌 가장 큰 특징
- 인터넷 및 모바일 환경에서 텍스트(댓글), 사진, 동영상 등 비정형 데이터의 생산은 기하급수적 증가
Variety(속도)
- 빠른 발생 빈도와 갱신 속도가 매우 많음
- 정보의 생성, 유통, 활용을 거의 실시간으로 처리 및 장기간 수집하여 분석하는 접근이 요구됨
Velocity(다양성)
- 데이터의 원천 및 유형이 매우 다양함
- SNS(페이스북, 카카오톡, 인스타그램 등) 사용자들이 상호 교류하는 과정에서 생산되는 다양한 데이터: 텍스트(댓글), 사진, 음악, 음성, 동영상 등 소셜 데이터가 분석 대상
빅데이터의 활용
4차 산업혁명(AI, 사물인터넷, 로봇산업, 자율주행차 등)의 핵심기술 ➡️ 빅데이터의 활용
예) AI(인공지능)의 판단력과 학습능력 향상하는데 빅데이터를 분석하고 활용하는 것이 필수적
빅데이터를 활용한 몇가지 예들을 알아보겠습니다.
해당 그림은 독감 관련 검색어의 입력 빈도를 지역별로 분석한 것입니다. 이를 통해, 독감이 대유행할 지역을 미리 유추해볼 수 있었습니다.
다음 사례는 서울시 심야버스의 노선을 짜기 위한 인구 밀집도 분석입니다.
해당 그림은 심야버스 노선을 정하기 위한 인구 밀집도를 분석한 것입니다.
- 30억의 심야시간 휴대전화 통화 데이터 ➡️ 인구 밀집도 분석 ➡️ 심야 버스 노선의 최적화
- 서울시 심야버스 2013년 4월부터 운영시작, 연간 270만 명 이용
빅데이터 마케팅
월마트
월마트의 검색엔진 폴라리스는 자연어 처리 기술을 이용해 다양한 키워드, 문맥, 유사어, 동의어를 분석하여 사용자에게 정확하고 편리한 검색 결과를 제공합니다. 고객 경험 향상과 만족도를 높이기 위해 실시간 업데이트 기능을 포함하고 있습니다.
예) 폴라리스에 'House'를 검색 ➡️ 미 TV드라마 'House'의 DVD관련 검색 결과를 보여줌
폴라리스 탑재 후 매출 약 15% 증대
아마존
: 소비자의 과거 구매 정보를 분석하여 구매 예상 상품을 추천 및 할인쿠폰 제공하는 시스템
➡️ 약 35%가 이러한 빅데이터 기반의 추천시스템에 의해 발생
댓글