Confusion Matrix
Confusion Matrix란 분류 모델이 예측 결과를 표로 나타낸 것으로 실제 값과 예측 값의 조합으로 성능을 파악한다.
2클래스 (binary) 뿐만 아니라 Multi class에서도 적용이 가능하다.
기본 형태 (이진 분류)
지표 활용
1. Precision (정밀도)
정확성 (Exactness)의 척도로서 False Positive를 줄이는데 중점을 둔다.
positive라고 예측했지만 실제로는 아닌것
ex) 스팸 필터 : 스팸메시지라고 예측했지만 실제로 아닌것을 스팸으로 잘못 분류하면 불편함
광고 타겟팅 :관심있는 사람이라고 예측했지만 실제로 관심이 없는사람에게 광고를 보내는 것을 줄일때
2. Recall (재현율)
포괄성(Completeness)의 척도로서 False Negative를 줄이는데 중점을 둔다.
실제로 positive인것 중 positive라고 예측한 것
ex) 질병 진단 : 실제 질병이 있지만 없다고 예측된 경우 위험하다.
침입 탐지 시스템 : 실제 침입 했지만 하지않았다고 예측된경우 마찬가지로 위험하다 .
3. F1 Score (F-Measure)
Precision과 Recall의 조화 평균으로 불균형 데이터에서 Accuracy보다 신뢰할 수 있다.
* 조화 평균
여러 값의 역수 평균의 역수를 의미한다.
예시로 1,2,4가 있을 때
각 값의 역수는 1.0, 0.5, 0.25
역수의 평균은 0.583...
다시 역수를 취하면 1/0.583.. 은 1.714...
Cutoff (임계값)
모델이 분류 확률을 기반으로 결과를 결정할 때 사용하는 기준값
대부분의 이진 분류 모델은 예측 확률을 출력한다.
ex) cutoff=5 일때, 암환자일 확률이 0.8인 사람은 0.5보다 크므로 암으로 예측한다.
cutoff는 precision과 recall 사이의 trade-off 조정 도구이다.
ROC (Receiver Operating Characteristic Curve)
임계값에 따라 분류 모델의 성능 변화 (민감도 VS 오탐률)를 시각화한 그래프이다.
ROC 곡선 아래 면적을 수치화 한 값을 AUC( Area Under The Curve)라 한다. AUC의 값이 1에 가까워질수록 완벽한 모델을 의미한다.
Threshold 이동 효과
