# 1.

다음 중 로지스틱 회귀에 대하여 잘못 설명한 것을 고르시오.

1. 로지스틱함수는 확률밀도 함수이다.
2. 출력값의 범위가 항상 0~1의 사이이므로 경사하강법을 수행할 때 기울기가 급격하게 변해서 발산하는 기울기 폭주가 발생할 수 있다.
3. 시그모이드 함수는 출력값의 범위가 매우 좁기 때문에, 역전파 과정에서 기울기 소실 문제가 발생할 수 있다.
4. 로지스틱 회귀는 일반적으로 선형회귀와는 다르게 종속 변수가 범주형 데이터를 대상으로 한다.
5. 이진분류에는 시그모이드 함수를, 다중분류에는 소프트맥스 함수를 사용하는 것이 일반적이다.

⇒ 정답 : 2

• 딥러닝 모델은 역전파를 통해 출력층(output layer)에서 입력층(input layer)로 오차 기울기(gradient)를 전파하고 기울기 업데이트를 하면서 훈련이 진행됨

• 기울기 소실(Gradient Vanishing) : 역전파 과정에서 입력층으로 갈수록 기울기(Gradient)가 점차적으로 작아지는 현상

  → 경사하강법에서 발생

• 기울기 폭주(Gradient Exploding) : 기울기가 점차 커지더니 가중치들이 비정상적으로 큰 값이 되면서 결국 발산되는 현상

  → RNN(Recurrent Neural Network) 같은 순환 신경망에서 자주 발생

• 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속변수가 범주형 데이터를 대상으로 하며, 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 기법으로도 볼 수 있음

# 2.

다음은 ‘확률적 경사 하강법’에 대한 설명이다. 교재와 아래 논문을 참고하여 다음 중 올바르게 설명한 것을 모두 선택하시오.

논문: https://arxiv.org/pdf/1609.04747.pdf  의 p.2