ch03 회귀 알고리즘과 모델 규제

ch03-1 k-최근접 이웃 회귀

회귀 : 두 변수 사이의 상관관계를 분석하는 방법

reshpae() 메서드 : 배열을 바꿀 수 있는 넘파이 메서드

결정계수 (R^2) : 1에 가까울 수록 좋다

$R^2 = 1-(타겟-예측)^2의 합/(타깃-평균)^2의 합$

모델을 훈련하고 나서 훈련세트와 테스트 세트에 대해 모두 평가점수를 구할 수 있다

일반적으로 훈련세트의 점수가 테스트 세트 점수보다 조금 더 높다

과대적합 : 테스트점수가 너무 낮을 경우 → solution : k-최근접 이웃의 경우 k값을 늘린다

과소 적합 : 테스트 점수가 너무 높거나 두 점수가 모두 낮은 경우 → solution : k-최근접 이웃의 경우 k값을 줄인다

03-2 선형 회귀

k-최근접 이웃 회귀의 한계 : 아무리 멀리 떨어져 있더라도 무조건 가장 가까운 샘플의 타깃을 평균으로 예측

해결방법 : 선형회귀 사용

선형회귀 : 가장 잘 맞는 직선의 방정식을 찾는 것 ( 최적의 기울기와 절편을 구한다)

→ 한계 : 음수값이 발생할 수 있음