ch 12 오버피팅 방지하는 방법

오버피팅(과대적합): 학습 데이터셋에서 오차가 일반화 오차에 비해서 낮아지는 현상

               단, 오버피팅은 무조건 피해야 하는 것이 아닌 모델의 수용 능력을 나타내는 지표

언더피팅(과소적합): 모델이 충분히 데이터를 학습하지 못해 학습 오차가 충분히 낮지 않은 현상

오버피팅으로 전환되는 순간 학습 멈춤 → 이상적 모델

• 이 과정 수행하기 위해 검증 데이터셋 이용

  → 학습 중 학습 데이터 일부를 나뉘어 검증 데이터 셋 구성

  → 주기적으로 모델에 넣어 손실 값 구함 (오버피팅 여부 확인) (손실 값 = 검증 손실 값)

  → 학습 중 검증 손실 값 감소가 진행되면 학습 계속 진행, 감소가 더디면 학습 종료 가능

  → 학습 종료 후 가장 낮은 검증 손실 값을 갖는 모델 복원해 f* 근사함수 활용 가능

데이터 구성 = 학습을 위한 데이터셋(6~8) + 검증을 위한 데이터셋(1~2) + 평가를 위한 데이터셋(1~2)

ch13 심층신경망 ll

• 심층신경망을 활용한 이진 분류

  → 회귀 문제와 마찬가지로 구성 후 마지막 계층 출력에 시그모이드 함수 씌우기

이진 분류 문제는 정답이 두가지 클래스 중 하나에 속함 → 실제 정답 2가지 + 예측 클래스 2가지

                                         실제 정답 

                                1                                  0

모델 예측 1 True Positive False Positive

                0      False Negative   False Negative