1. 배치정규화의 경우 하이퍼파라미터가 추가되지 않는다는 점이 가장 큰 특징이자 장점이다. (o)

2. 심층신경망에서 일어나는 기울기 소실 문제점을 해결하기 위해 ReLU가 제시되었다.(O)

3. 가중치 감쇠는 손실 함수를 수정하여 학습을 도와 오버피팅을 최소화한다. - x (학습 방해하는 형태

4. 시그모이드는 모든 구간에서 0보다 매우 작은 기울기를 가지지만, 탄에이치는 모든 구간에서 0보다 큰 값을 갖는다. (x)

5. 렐루 함수의 양수, 음수 구간의 기울기를 구하고, 샘플들이 렐루의 음수 구간에 입력될때 발생하는 문제점을 설명하라. [ 양수구간일때 1 , 음수구간일때 0. 문제점 : 가중치 조정 및 업데이트 x → 학습 진행 x]

6. 그래디언트 소실이 일어나는 이유를 설명하시오.

   1. 1보다 작은 값을 계속 곱하므로 결과적으로 그래디언트가 0에 근접하게 되기 때문 ( 입력에 가까운 계층의 가중피 파라미터는 업데이트 양이 거의 없게 됨)

7. 퍼셉트론은 신경망의 기초가 되는 중요한 모델이다. 하지만 퍼셉트론은 치명적인 한계를 가지고 있다. 그 한계를 서술하고, 어떠한 방법이 제시되었는지 작성하시오.

   1. Xor 문제 같은 비선형 문제를 해결하지 못한다는 한계가 있으며, 이를 극복하기 위해 퍼셉트론에 여러개의 은닉층을 추가한 다층 퍼셉트론이 제시되었다.

8. 배치정규화의 경우 하이퍼파라미터가 추가되지 않는다는 점이 가장 큰 특징이자 장점이다.

9. 심층신경망에서 일어나는 기울기 소실 문제점을 해결하기 위해 ReLU가 제시되었다.

10. 가중치 감쇠는 손실 함수를 수정하여 학습을 도와 오버피팅을 최소화한다.

11. 시그모이드는 모든 구간에서 0보다 매우 작은 기울기를 가지지만, 탄에이치는 모든 구간에서 0보다 큰 값을 갖는다.

12. 렐루 함수의 양수, 음수 구간의 기울기를 구하고, 샘플들이 렐루의 음수 구간에 입력될때 발생하는 문제점을 설명하라.

13. 퍼셉트론은 신경망의 기초가 되는 중요한 모델이다. 하지만 퍼셉트론은 치명적인 한계를 가지고 있다. 그 한계를 서술하고, 어떠한 방법이 제시되었는지 작성하시오.

14. 그래디언트 소실이 일어나는 이유를 설명하시오.

7주차

1. ImageFolder를 사용하면 이미지 데이터셋의 디렉토리 구조에 따라 자동으로 레이블을 지정할 수 있다. (O) (ImageFolder는 디렉토리 구조를 기반으로 자동으로 레이블을 지정)