ADsP 313 분석 과제 발굴

 

 

분석 과제는 해결해야 할 문제를 데이터 분석 문제로 변환한 후 관계자들이 이해하고 프로젝트로 수행할 수 있는 과제정의서 형태로 도출된다. 분석과제를 도출하기 위한 방식은 하향식 top down approach 과 상향식 bottom up approach 으로 구분할 수 있다.

하향식 problem solving 은 문제의 해법을 찾기 위해 각 과정을 단계적으로 수행하는 방식이다. 문제가 무엇인지 알고 있는 상황에서 답을 구하는 방식으로 진행된다. 분석의 대상을 알고 있기 때문에 분석 주제 유형에서 최적화 optimization 와 솔루션 solution 에 해당한다.

상향식 problem creation 은 문제의 정의 자체가 어려운 경우 이용된다. 데이터를 이용하여 생각하지 못했던 통찰을 얻고자 할 때 이용된다. 분석의 대상을 모르기 때문에 분석 주제 유형에서 통찰 insight 과 발견 discovery 에 해당한다.

상향식으로 가능한 옵션을 찾아내고, 하향식으로 옵션을 분석 및 검증하는 방식으로 두 가지를 상호 보완하여 사용한다면 분석의 가치를 높일 수 있다.

---

1. 하향식

 

    문제 탐색 - 문제 정의 - 해결방안 탐색 - 타당성 평가

    problem discovery - problem definition - solution search - feasibility study

 

1) 문제 탐색

 

    문제를 탐색할 때는 전체적인 관점의 모델 기법을 이용해서 빠짐없이 문제를 찾아내는 것이 중요하다. 비즈니스 모델과 외부사례 참조 모델이 있다.

 

    1-1) 비즈니스 모델 기반 문제탐색

 

    기업의 사업 모델을 9개의 영역으로 나눈 비즈니스 캔버스라는 게 있다. 이게 뭔지 자세히 알려고 하지는 말자. 여기에서 제품, 업무, 고객 단위로 문제를 찾아내고, 규제/감사 영역과 지원 인프라 영역에서 기회를 찾아보는 방법이다. 각 영역 별로 도출할 수 있는 문제는 다음과 같다.

 

    - 업무 : 생산공정 최적화, 재고량 최소화 등 내부 프로세스 및 주요 자원관련 주제를 도출한다.

    - 제품 : 제품의 기능을 개선하고 서비스를 개선하기 위해 모니터링 지표를 도출한다.

    - 고객 : 대기시간 최소화, 영업점 위치 최적화 등 고객 및 이를 제공하는 채널 관점에서 관련 주제를 도출한다.

    - 규제/감사 : 품질 이상 징후, 환경 규제 등 규제 및 보안의 관점에서 주제를 도출한다.

    - 지원 인프라 : EDW 최적화, 적정 운영인력 등 운영, 관리하는 인력의 관점에서 주제를 도출한다.

        (EDW : enterprise data warehouse)

 

    현재의 사업 모델을 기반으로 과제를 도출하면 최적화 및 단기 과제 형식으로 도출될 가능성이 높다. 갖고 있는 걸 더 잘하게 할 수는 있지만 새로운 걸 찾아내기 위해서는 분석 기회 발굴의 범위를 확장시켜야 한다. 다음의 4 가지 관점에서 시야를 넓혀보자.

 

    - 메가트렌드(대세) : 사회, 기술, 경제, 환경, 정치 영역(STEEP)으로 구분하여 크게 바라본다.

    - 경쟁사 동향 : 직접적인 경쟁자에서 대체재, 신규 진입자 등으로 관점을 확대한다.

    - 고객(시장) 니즈의 변화 : 고객 뿐만이 아니라 고객 접점인 채널, 인플루언서까지 탐색 대상을 확장시킨다.

    - 역량의 변화(재해석) : 현재 기업 역량 뿐만 아니라 파트너 네트워크까지 포함하여 분석기회를 탐색한다.

 

    1-2) 외부 참조 모델 기반 문제탐색

 

    한마디로 벤치마킹이다. 기존 사례를 기반으로 분석 테마 후보 그룹 pool 을 만들고 Quick & Easy 방식으로 필요한 분석기회가 무엇인지에 찾는다. 이 중 기업에 적용할 분석 테마 후보 목록을 브레인 스토밍을 통해 빠르게 도출한다.

 

    1-3) 분석 유스 케이스 analytics use case 정의

 

    발굴한 분석 기회들을 구체적인 과제로 만들기 전에 분석 유스 케이스로 표시한다. 분석 유스 케이스에는 문제에 대한 상세한 설명과 효과가 적혀있다. 향후 데이터 분석 문제로의 전환 및 적합성 평가에 도움이 된다.

 

2) 문제 정의

 

    문제 탐색 단계에서는 무엇을 어떻게 해결할지에 초점을 맞췄다면, 이번 단계에서는 필요한 데이터와 기법을 정의하는 단계이다. 즉 데이터 분석 문제로 변환하는 것이다. 예를 들어, '고객 이탈의 증대' 라는 비즈니스 문제는 '고객 이탈에 영향을 미치는 요인을 식별, 이탈 가능성을 예측'하는 분석 문제로 변환할 수 있다.(공식수험서 사례)

 

3) 해결방안 탐색

 

    데이터 분석 문제를 해결하기 위한 방법을 찾는 단계이다. 어떤 시스템을 활용할 것인지에 따라 비용 및 도구가 달라진다. 기존 시스템을 활용해서 분석이 가능한지, 높은 수준의 기법을 도입해야 하는지, 외부에 맡길지 등을 검토한다.

 

4) 타당성 평가

 

    도출된 문제에 대한 해결방안을 과제로 만들기 위해서는 타당성을 검토해야 한다. 비용대비 편익을 따져서 경제적으로 타당한지 검토한다. 뿐만 아니라 충분한 데이터가 있는지, 기술적으로도 역량이 되는지 검토해야 한다.

---

2. 상향식

 

하향식은 논리적인 단계별 접근 방법이다. 문제가 분명할 때는 도움이 되지만 새로운 문제를 찾는데는 한계가 있다. 하향식은 우리가 이미 알고 있는 것에 대한 해답을 찾게 되기 때문이다.

 

스탠포드 대학의 d.school 은 design thinking 접근법을 통한 분석 방법을 제시했다. 답을 미리 내는 것이 아니라 대상을 있는 그대로 인식해야 한다고 한다. 이를 위한 첫 단계로 감정이입을 강조하고 있다. 객관적인 데이터를 관찰하고 대상을 깊게 이해하는 방식이다.

 

이와 같은 방식으로 상향식은 대량의 데이터를 분석하여 가치 있는 문제를 도출하게 된다.

 

1) 비지도학습

 

상향식 접근 방식의 데이터 분석은 비지도학습 unsupervised learning 으로 수행된다. 비지도학습은 명확히 정의된 형태의 특정 필드 값을 구하는 것이 아니다. 즉 답이 없다. 데이터의 결합, 연관성, 유사성 등을 중심으로 테이터의 상태를 표현하는 것이다. 지도학습과 비교하면 보다 쉽게 알 수 있다.

 

지도학습 supervised learning 은 개와 고양이를 구분하는 것처럼 명확한 목적이 있다. 분류, 추측, 예측, 최적화를 통해 사용자의 주도하에 분석을 실시하고 새로운 데이터를 예측하는 학습 방법이다.

 

지도학습은 사전에 인지된 내용을 바탕으로 어떤 결과가 나올지 예측하는 것이다. 하지만 비지도학습은 목표값을 미리 정하지 않기 때문에 결과에 대한 해석이 쉽지 않을 수 있다.

 

2) 프로토타이핑 prototyping

 

사용자의 요구사항이나 데이터를 명확하게 알지 못하는 상황에서 일단 아무거나 분석을 시도해보고 그 결과를 확인해 가면서 반복적으로 개선해 나가는 방법이다. 신속하게 모형을 제시할 수 있고, 이를 통해 문제를 명확하게 만들어 필요한 데이터를 구체화 시킬 수 있다.

 

    2-1) 프로토타이핑의 필요성 

 

    - 문제 인식 수준 : 문제에 대한 인식 수준이 낮을 때 문제를 구체화 하는데 도움을 받을 수 있다.

    - 필요 데이터 존재 여부의 불확실성 : 일단 시도를 해봄으로써 필요한 데이터의 존재 여부를 알 수 있어 불가능한 프로젝트의 진행을 막을 수 있다.

    - 데이터 사용 목적의 가변성 : 데이터는 사전에 목적이 정해지지 않는다. 기존 데이터를 재검토하여 데이터의 사용 목적과 범위를 확대시킬 수 있다.

---

3. 분석과제 정의서

 

지금까지 만든 분석과제를 분석 과제 정의서 양식을 통해 자세히 정의한다. 분석과제 정의서에는 분석명, 분석정의 소스데이터, 분석방법, 분석 난이도, 분석주기, 결과검증 등을 상세하게 기록한다.