[Cha 3-1]

K 최근접 이웃 회귀 알고리즘 (지도 학습)

사전 지식

• 회귀 : 임의의 수치를 예측하는 문제

원리

• 예측하려는 샘플의 가장 가까운 샘플 k개를 선택해서 수치를 예측한다
• 대표적으로 샘플들의 평균을 예측값으로 사용할 수 있다

평가방법

• $R^2$ 값(결정계수)을 이용해서 평가하는 방법이 있다 $R^2 = 1 - {\sum(타깃 - 예측)^2\over\sum(타킷 - 평균)^2}$
• mean-absolute-error를 이용해서 평가하는 방법이 있다

예측값이 타깃값과 평균적으로 얼마나 다른지 알 수 있다

주의사항

• 과대적합 : 모델이 train set에만 너무 최적화 되어 있는 상태
• 과소적합 : 모델이 test set에만 너무 최적화 되어 있거나, train set과 test set 둘 모두에 최적화 되지 않은 상태
• 성능이 테스트 세트보다는 훈련세트에 맞는 것이 좋고, 너무 훈련 세트에 최적화 된 과대적합이 되지 않도록 주의해야 한다
• 훈련에 사용했던 data의 범위에 넘어선 샘플에 대해선 적절한 예측을 할 수 없다

가장 가까운 샘플들의 값으로 예측을 하기 때문에 아래의 상황이 대표적인 예이다