• RNN, LSTM, GRU, Bi-LSTM

LSTM

• RNN에는 가중치가 업데이트 되는 과정에서 기울기 소멸 문제가 발생

• 망각게이트, 입력게이트, 셀(장기 기억), 출력 게이트로 구성

• LSTM 기본 구조

  • RNN의 장기 의존 문제를 개선하기 위해 LSTM은 기억 셀을 추가
  • Ct는 하나의 벡터 형태이고, 차원은 LSTM 은닉층의 노드 수와 동일

  

  

• 참고링크 : https://yeong-jin-data-blog.tistory.com/entry/LSTM