Google Colaboratory

05 트리 알고리즘

05-1 결정트리

• 결정트리
• 지니 불순도(Gini impurity) = 1-(음성클래스 비율^2 + 양성클래스 비율^2)
• 정보 이득
• DecisionTreeClassifier() : 사이킷런의 결정트리 분류 클래스
  • criterion 매개변수 = 불순도를 지정(gini, entropy)
  • max_depth =트리의 최대 깊이
• plot_tree() : 결정 트리 모델 시각화

05-2 교차검증과 그리드 서치

• 검증세트 vs 테스트세트

  • 검증세트 = 머신러닝 모델을 검증하기 위한 데이터세트. 최종 테스트의 데이터를 사용하지 않기 위해서 훈련세트에서 떼어낸 데이터세트
  • 테스트세트= 모델 평가 단계에 사용하기 위한 데이터세트. 모델 검증에 쓰였던 데이터로 모델을 평가한다면 높은 점수가 나오기 때문에 노출 되면 안됨

• 교차검증:

  훈련세트를 여러 세트로 나눠서 한 폴드가 검증세트의 역할을 하고 나머지는 훈련에 사용

  

• 그리드서치: 하이퍼파라미터 탐색을 자동화 해주는 도구

• 랜덤 서치: 연속된 매개변수 값을 탐색할 때, 직접 나열하는 것이 아닌 확률분포 객체를 전달

05-3 트리의 앙상블

• 앙상블 학습: 여러개의 모델을 훈련하여 더 좋은 예측 결과를 만든다.