Softmax 함수는 입력된 벡터를 확률 분포로 변환한다. 이 변환 과정에서 Softmax 함수의 출력값의 합은 입력 벡터의 원소 개수이다.
→ X, 1이다
Cross Entropy 손실 함수는 실제 확률 분포와 모델에 의해 예측된 확률 분포 사이의 차이를 측정한다. 이 함수는 예측이 정확할수록 높은 값을 가진다.
→ X, 낮은 값을 가진다.
신경망에서 활성화 함수(예: ReLU, 시그모이드, tanh)의 선택이 모델 성능에 어떤 영향을 미칠 수 있나요? 특정 활성화 함수가 다른 것보다 선호되는 상황은 언제인가요?
→ 활성화 함수는 신경망의 비선형성을 도입하는 중요한 역할을 합니다. ReLU는 일반적으로 은닉층에서 선호되며, 그 이유는 계산 효율성이 높고, 기울기 소실 문제를 완화할 수 있기 때문입니다. 시그모이드와 tanh 함수는 출력층에서 이진 분류나 값이 -1과 1 사이인 경우에 유용합니다. 각 활성화 함수는 다른 특성을 가지고 있어, 문제의 종류와 네트워크 구조에 따라 적절히 선택해야 합니다.
Maximum Likelihood Estimation(MLE)은 주어진 데이터를 가장 잘 설명하는 모델 파라미터를 찾는 방법입니다. 이 원리를 확률적 관점에서 설명하세요.
→ Maximum Likelihood Estimation(MLE)은 주어진 데이터가 관측될 확률(우도)을 최대화하는 모델 파라미터를 찾는 방법입니다. 즉, MLE는 모델 파라미터를 조정하여 관측된 데이터가 모델에 의해 생성될 가능성을 최대화하는 값을 찾습니다. 이는 다음과 같은 수식으로 표현할 수 있습니다:
