2-1(훈련 세트와 테스트 세트)

용어 정리

• 지도 학습: 지도 학습 알고리즘을 훈련하기 위해 데이터와 정답 필요
  • 데어터 == 입력(input)
  • 정답 == 타깃(target)
  • 데이터 + 정답 == 훈련데이터(training data)

ex)

• 비지도 학습: 타깃 없이 입력 데이터만 사용
  • 정답x → 무언가를 맞힐 수 없다
  • 데이터를 잘 파악하거나 변형에 도움을 줌
• 강화 학습(추후 공부)
• 샘플: 하나의 데이터 row하나
• 샘플링 편향: 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않으며 샘플링이 한쪽으로 치우쳤다

훈련 세트, 테스트 세트

머신러닝 알고리즘의 성능을 제대로 평가하려면 훈련 데이터(input + target)와 평가에 사용할 데이터(input + target)가 각각 달라야 함

1. 평가를 위해 또 다른 데이터를 준비
2. 이미 준비된 데이터 중에 일부를 떼어 활용

• 테스트 세트: 평가에 사용하는 데이터
• 훈련 세트: 훈련에 사용되는 데이터

bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]

smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

length = bream_length + smelt_length
weight = bream_weight + smelt_weight

fish_data = [[l ,w] for l, w, in zip(length, weight)]

fish_target = [1] * 35 + [0] * 14

import matplotlib.pyplot as plt
import numpy as np
from sklearn.neighbors import KNeighborsClassifier

input_arr = np.array(fish_data) # 그냥 배열을 numpy 배열로 만들어줌
target_arr = np.array(fish_target)

np.random.seed(42)
index = np.arange(49) # 배열 만다는 함수
np.random.shuffle(index);

# train_input = fish_data[index[:35]] error train_input 은 numpy 배열 방법으로 사용하는데 fish data 는 numpy 배열이 아님
train_input = input_arr[index[: 35]] #훈련 세트로 input 중 0부터 34번째 인덱스까지 사용
train_target = target_arr[index[: 35]] #훈련 세트로 target 중 0부터 34번째 인덱스까지 사용
test_input = input_arr[index[35 :]] #테스트 세트로 input 중 35번째부터 마지막 인덱스까지 사용
test_target = target_arr[index[35 :]] #테스트 세트로 타깃값 중 35번째부터 마지막 인덱스까지 사용

plt.scatter(train_input[:, 0], train_input[:,1])
plt.scatter(test_input[:,0], test_input[0:,1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

kn = KNeighborsClassifier()
kn = kn.fit(train_input, train_target) # 훈련 세트를 통한 학습
kn.score(test_input, test_target)

#train_input = fish_data[: 35] #훈련 세트로 input 중 0부터 34번째 인덱스까지 사용
#train_target = fish_target[:35] #훈련 세트로 target 중 0부터 34번째 인덱스까지 사용
#test_input = fish_data[35 :] #테스트 세트로 input 중 35번째부터 마지막 인덱스까지 사용
#test_target = fish_target[35 :] #테스트 세트로 타깃값 중 35번째부터 마지막 인덱스까지 사용