진우
이영에게 : 활성화 함수를 쓰는 이유
- 가설 공간을 더 잘 활용하기 위해서
- 활성화 함수를 쓰지않으면, 은닉층에서 간단한 내적 연산밖에 하지 못함
현우에게 : MAE가 무엇인가요?
- 평균 절대 오차 - 평균이랑 실제로 얼마나 차이나는지 보여주는 값
성현에게 : Binary CrossEntropy와 Categorical CrossEntropy의 차이는?
- binary_crossentropy는 시그모이드 categorical_crossentropy는 softmax를 사용
현우
성현에게 : 오버피팅을 확인하는 방법?
- 학습을 멈춘다
- 시각화 시켜서 확인한다 (matplotlib)
정준에게 : 로이터 뉴스 토픽 분류 문제에서 중간층 Layer의 차원을 출력해야하는 차원보다 적게하면
- 층이 너무 작을 경우: 정보가 누락된다.
- 층이 너무 클 경우 : 층을 크게 하면 필요 없는 특성까지 학습한다.
훈련 - 검증 - 테스트 데이터로 나누는 이유는?
- 데이터가 많으면 훈련 중에서도 검증 파트를 나눠 overfitting 방지(더 이상 loss가 낮아지지 않을 때) - 더 학습시킬 필요가 없음
이영
정준에게 : 다중분류 문제에서 사용하는 활성화함수