ADsP 성과분석

 

홀드 아웃 hold out

원본 데이터를 랜덤게 두 분류로 분리하여 교차 검증하는 방법

모형의 학습 및 구축을 위한 훈련용 자료로 하나는 성과 평가를 위한 검증자료로 사용

전체 데이터 중 70% 는 훈련용으로 나머지는 검증용으로 사용

검증용 데이터의 결과는 성과 측정만을 위하여 사용

 

교차검증 cross validation

주어진 데이터를 가지로 반복적으로 성과를 측정하여 그 결과를 평균한 것으로 분류 분석 모형을 평가하는 방법

대표적인 교차검증으로 K-fold

 

부트스트랩 bootstrap

평가를 반복한다는 측면에서 교차검증과 유사하나 훈련용 자료를 반복 재선정한다는 점에서 차이가 있음

관측치를 한 번 이상 훈련용 자료로 복원추출법에 기반한다.

전체 데이터의 양이 크지 않은 경우의 모형평가에 가장 적합

 

이익도표 lift chart

이익 : 목표 범주에 속하는 개체들이 각 등급에 얼마나 분포하고 있는지 나타내는 값

이익도표 : 해당 등급에 따라 계산된 이익 값을 누적으로 연결한 도표

분류된 관측치가 각 등급별 얼마나 포함되는지 나타내는 도표

 

향상도 곡선

랜덤모델과 비교하여 모델의 성과가 얼마나 향상되었는지 등급별 파악하는 그래프

상위등급은 향상도가 매우 크고 하위로 갈수록 향상도가 감소되어 예측력이 적절함을 의미

등급에 상관없이 향상도에 차이가 없으면 예측력이 좋지 않음

향상도(Lift) = 반응률 / 기본 향상도

좋은 모델이라면 lift 가 빠른 속도로 감속해야 함