이론
- 순환 신경망은 마지막 밀집층에서 이진분류일때 하나의 뉴런을 두고 소프트맥스 활성화 함수를 사용한다.
X 시그모이드 활성화함수 사용
- 순환 신경망은 마지막 셀을 Flattem 클래스로 펼칠 필요가 없다.
O 마지막 셀의 출력이 1차원이기 때문에
- LSTM에는 순환되는 은닉 상태와 다음층으로 전달되는 셀상태가 존재한다.
X 다음층으로 전달되지 않고 LSTM셀에서만 순환되는 값
- GRU의 3개의 셀에는 2개의 시그모이드 활성화함수를 사용하고 tanh 활성화 함수를 사용한다.
O
- Conv2D는 순환층 클래스이다.
X 합성곱클래스이다
- 원-핫 인코딩은 각 단어를 고정된 크기의 실수 벡터로 바꾸어준다.
X 단어 임베딩
- tanh 함수는 0~1 사이의 범위를 가진다.
X -1 ~ 1 0~1은 시그모이드함수
실습
Google Colaboratory