Google Colaboratory

CH03. 회귀 알고리즘과 모델 규제

CH03-1 K-최근접 이웃 회귀

지도학습 알고리즘

• 분류
  • 샘플을 몇 개의 클래스 중 하나로 분류하는 문제
  • k-최근접 이웃 분류 알고리즘
    • 예측하려는 샘플에 가장 가까운 샘플 k개 선택 → 샘플들의 클래스를 확인 → 다수 클래스를 새로운 샘플의 클래스로 예측
• 회귀 regression
  • 임의의 수치를 예측하는 문제 (타깃값도 임의의 수치)
  • 클래스 중 하나로 분류x
  • 정해진 클래스가 없고 임의의 수치를 출력
  • (사회학자 프랜시스 콜턴Francis Galton) 회귀 : 두 변수 사이의 상관관계를 분석하는 방법
  • k-최근접 이웃 회귀 알고리즘
    • 예측하려는 샘플에 가장 가까운 샘플 k개 선택 → 이웃한 샘플의 타깃은 임의의 수치(평균 이용) → 예측 타깃값은 평균
    • 가장 가까운 이웃을 찾고, 샘플들의 타깃값을 평균하여 예측으로 삼는다.

사이킷런, 넘파이 배열

• 사이킷런에 사용할 훈련세트 → 2차원 배열이어야 함.
• 1차원 배열인 경우 → 1개의 열이 있는 2차원 배열로 변환해야 함
• [1, 2, 3](크기:(3, )) → [[1],[2],[3]] (크기:(3, 1))
  • 파이썬) 1차원 배열의 크기⇒ 원소가 1개인 튜플로 표시
  • 2차원 배열을 만들기 위해서 억지로 하나의 열을 추가했지만 배열을 나타내는 방식만 달라진 것 <= 원소의 개수가 달라진 것이 아니다. 원소의 개수는 동일
• 넘파이 배열
  • reshape() : 바꾸러는 배열의 크기를 지정할 수 있음
    • 크기가 바뀐 새로운 배열을 반환할 때 지정한 크기가 원본 배열에 있는 원소의 개수와 다르면 에러 발생 (바구기 전 후의 배열 원소 개수가 동일해야 한다)
    • 크기에 -1을 지정 : 나머지 원소 개수를 모두 채우라는 의미
    • ex) reshape(-1, 1)
    • np.reshape(test_array, (2,2)) 이렇게도 사용 가능
• k-최근접 이웃 회귀 알고리즘 클래스 KNeightborsRegressor
• score() 메소드가 출력하는 값은 높을수록 좋다
  • 에러율을 반환할 경우 음수로 만들어 주기
• sklearn.metrics
  • mean_absolute_error() : 회귀 모델의 평균 절댓값 오차 계산
    • 첫번째 매개변수는 타깃, 두번째 매개변수는 예측값
    • 타깃과 예측의 절댓값 오차를 평균하여 반환 (정량적인 평가)
  • mean_squared_error() : 평균 제곱 오차
    • 타깃과 예측을 뺀 값을 제곱한 다음 전체 샘플에 대해서 평균한 값 반환

결정계수(R^2)

• 회귀의 경우 **결정계수(coefficient of determination)(R^2)**로 평가

• 결정계수 식

  

  • SST(Total Sum of Squares) : 관측값에서 관측값의 평균(혹은 추정치의 평균)을 뺀 결과의 총합
  • SSE(Explained Sum of Squares) : 추정값에서 관측값의 평균(혹은 추정치의 평균)을 뺀 결과의 총합
  • SSR(Residual Sum of Squares) : 관측값에서 추정값을 뺀 값. 잔차(Residual)의 총합

• 각 샘플의 타깃과 예측한 값의 차이를 제곱하여 더함 → 타깃과 타깃 평균의 차이를 제곱하여 더함 → 더한 값들을 나눔

• 타깃이 평균 정도를 예측하는 수준이라면 (분자와 분모가 비슷해져) 0에 가까워지고, 예측이 타깃에 아주 가까워지면 (분자가 0에 가까워지기 때문에) 1에 가까운 값이 된다.

과대적합 vs 과소적합

• 과대적합(Overfitting)
  • 훈련 세트와 테스트 세트의 점수를 비교했을 때, 훈련 세트가 너무 높으면 과대적합
• 과소적합(underfitting)
  • 훈련 세트보다 테스트 세트의 점수가 높거나 두 점수가 모두 낮은 경우
  • 모델이 너무 단순하여 훈련 세트에 적절히 훈련되지 않는 경우
  • 원인2) 훈련 세트와 테스트 세트의 크기가 매우 작은 경우
  • 해결) 모델을 더 복잡하게 만들기 (훈련 세트에 더 잘 맞게 만들기)
    • k-최근접 이웃 알고리즘
      • 이웃의 개수를 줄이면 훈련 세트에 있는 국지적인 패턴에 민감해진다
      • 이웃의 개수를 늘리면 데이터 전반에 있는 일반적인 패턴을 따른다.

CH03-2 선형 회귀

+) 모델은 주기적으로 훈련해야 한다.

• 시간과 환경이 변화면서 데이터도 바뀌기 때문에 주기적으로 새로운 훈련 데이터로 모델을 다시 훈련해야 한다.

선형 회귀(linear regression)

• 특성이 하나인 경우 어떤 직선을 학습하는 알고리즘
  • 특성과 타깃 사이의 관계를 가장 잘 나타내는 선형 방정식을 찾아야 함
• sklearn.linear_model
  • LinearRegression 클래스 - 선형 회귀 알고리즘
  • 하나의 직선 → 기울기, 절편 필요
    • y = a*x + b
  • LinearRegression클래스가 찾은 a, b
    • 객체의 coef_(기울기 → 계수(coefficient), 가중치(weight)) , intercept_ 속성에 저장되어 있음
    • fit_intercept 매개변수 : False로 지정하면 절편을 학습하지 않음. 기본값은 True
    • coef_ 속성 : 특성에 대한 계수를 포함한 배열 → 배열의 크기는 특성의 개수와 같음
    • intercept_ 속성 : 절편이 저장되어 있음
    • 모델 파라미터 : 머신러닝 알고리즘이 찾은값
      • 머신러닝 알고리즘의 훈련 과정 ⇒ 최적의 모델 파라미터를 찾는 것 (모델 기반 학습) ↔ 사례 기반 학습
      • 모델 파라미터가 없는 k-최근접 이웃은 사례 기반 학습이다.
• 가장 잘 맞는 직선의 방정식을 찾는다는 것 ⇒ 최적의 기울기와 절편을 구한다는 의미 → 선형 회귀 모델의 coef_와 intercept_ 속성에 저장되어 있음
• 훈련 세트를 벗어난 범위의 데이터도 잘 예측 가능

다항 회귀

• 최선의 곡선을 찾기 (2차 방정식도 선형 회귀이다)
• 2차 방정식의 그래프 →길이를 제곱한 항이 훈련 세트에 추가되어야 함.
• 2차 방정식 그래프를 찾기 위해 훈련 세트에 제곱 항을 추가했지만, 타깃값은 그대로 사용 ⇒ 목표하는 값은 어떤 그래프를 훈련하든지 바꿀 필요가 없음
• 다항식(polynomial) ⇒ 다항식을 사용한 선형 회귀 = 다항 회귀(polynomial regression)

ch03-3 특성 공학과 규제

다중 회귀(mutiple regression)

• 여러 개의 특성을 사용한 선형 회귀 → 다중 회귀
• 특성 공학(feature engineering)

데이터 준비

• 판다스(pandas) - 데이터 분석 라이브러리

사이킷런의 변환기