데이터의 시대 어떻게 준비해야 할까요?:(Why Data Literacy)

1. 데이터, 의사결정 그리고 디지털 대전환

데이터 기반 의사결정 실패 사례

예시1 - 유나이티드 항공

 

목표: 기존의 데이터를 활용하여 항공사 수요에 대한 예측 알고리즘 만들기

실패이유: 10여 전 데이터로 수요 예측 알고리즘을 만들었기 때문

10년 동안 전 세계 항공 수요는 소득 수준이나 국가 간 발전사항에 따라 크게 변화함

-> 과거 데이터를 잘못 활용한 알고리즘 구축

 

예시2 - Caterpillar (중장비회사)

중장비 마다 센서를 부착하여 데이터 값을 산출, 데이터값을 취합하는 인공위성이 정제된 데이터 값을 실시간 안내

하지만,  최초 기획 목적인 부품 매출의 증가가 이루어 지지 않아 실패

-> 데이터 실시간 집계 후 대시보드 활용이 목표였으나 현장 속 인물들이 데이터를 읽지 못했음

 

데이터를 잘못 읽어 의사결정에 실패한 두 회사

유나이티드 항공의 총 손해액: 연 10억 달러 규모

캐터필러의 총 손해액: 약 180억 달러

Dark Data (다크데이터)란?

: 빅데이터와 비슷하지만, 구조화되어 있지 않고 일반적으로 더는 사용하지 않는 비구조화된 비정형 데이터.

기업이 수집, 처리하지만 특별한 목적을 위해 사용하는 데이터가 아님, 활용할 방법을 몰라 그냥 두곤 함

(오래된 파일이나 로그 파일 등이 그 예시)

일반적으로 다크 데이터가 증가하면 이를 관리하기 위한 비용이나 리스크가 커진다.

ex. 소비자의 개인정보 데이터를 쌓아두지만 이를 알지도 못한다면 기업은 법적 리스크 초래 가능성이 커진다.

-> Dark Data Trap이 발생

 

즉, 데이터는 많은데, 어디서부터 어떻게 써야할 지 모르는 상황이 생긴다는 것

의사결정 과정에서 데이터의 역할 변화

1970년대~: 직관기반의 의사결정

고도의 산업 성장 -> 사람과 데이터의 부재 -> 투지, 열정이 가장 큰 의사결정 요소

 

1997년 IMF 이후: 가설기반 의사결정

IMF의 "빌려준 돈을 어떻게 쓸거야?"에 대한 우리의 대답이 필요했음.

서양의 과학적 경영 기법이 대거 들어오기 시작. 가설 - 실험 - 분석 개념이 경영기법에 도입

 

최근: 분석 기반 의사결정. (두 가지 모델이 공존, 데이터 분석과 실험의 위치가 변함)

이전의 의사결정 방식은 가설을 검증하기 위해 데이터를 분석했다면, 지금은 가설을 세우기 위해 데이터를 분석함.

사실 기반의 내용으로 구성되어 있기 때문에 적중률이 높음

 

디지털 대전환: 알고리즘 기반 의사결정

조직에 잘 정비된 데이터가 존재하게 되면 인공지능이 데이터를 분석, 이를 바탕으로 의사결정

핵심은 "자동화된 의사결정"

 

 

2. 정비된 데이터

인공지능 성능의 자양분

실무 문제를 데이터로 쌓아 데이터 분석 설계도를 만드는 것이 가장 먼저 할 일! (실무에 대한 직관을 믿는 것)

인공지능 엔진의 성능은 초반에는 기하급수적으로 성장해도 후반에는 난이도가 높아짐

-> 설명력 높은 다양한 피처들이 다양하게 존재하는 것이 중요하다!

알고리즘은 실무 내 분석 행위를 통해 개발,  잘 정비된 데이터란, (양 + 신뢰 + 다양성)을 갖춘 데이터

 

데이터 리터러시 이해하기

데이터 리터러시는 직관적이고 실천적인 역량으로 구성

 

누군가에게 영어를 얼마나 잘하냐고 물을 때,

A: 저 토익 900점 넘어요
B: 저 원어민 설득할 수 있어요, 회의 중이에요!

B가 말한 것이 더 와닿는 것 처럼

어떤 툴과 기법에 대한 이해는 전체 데이터 역량 중의 일부에 지나지 않는다.

 

 

출처: CJ Remote Internship 1주차 학습콘텐츠