진우

• 성현에게 : 실전에서 SimpleRNN을 안쓰는 이유?¿⁇

  • 그리디언트 소실문제 때문, 장기가 아닌 단기 기억 때문

• 정준에게 : 원 핫 인코딩 보다 단어 임베딩을 사용하는 이유¿⁇

    메모리가 적다, 단어간의 관계를 학습할 수 있다. 차원이 적다.
  

현수

• 정준에게 : 토큰의 종류
  • 단어(워드), 문자, n-gram
• 진우에게 : 단어 임베딩 이후에 순환층이나, 합성곱층을 추가하는 이유?
  • 각 시퀀스 전체를 고려한 특성을 학습하도록 임베딩 층 위에 순환 층이나 1D 합성곱 층을 추가하는 것이 좋습니다.

정준

• 진우에게 : 텍스트 데이터와 시계열 데이터의 차이?

  전처리 : 시계열의 경우 필요

  시계열 데이터가 시간쪽에 신경을 써야한다? = (train_test_split을 할 때 구간을 섞으면 안된다.)

  = 시계열은 flatten으로 펼치면 안된다.

  텍스트 데이터도 종류에 따라 다르다.(IMDB는 문장의 모든 단어가 중요하지는 않음)

• 현우에게 : 순환신경망의 성능향상방법?

  • 순환 드롭아웃 : 과대적합 예방
  • 스태킹 순환층 : 순환층을 쌓아 사용한다. return sequence = True로 해야함.
  • 양방향 RNN : 순서가 중요하지 않은 경우

성현 The Queen

• 이영에게 : LSTM에서 C가 Carry로 들어왔다. 274p 코드 6-26 시그모이드 : 망각, 탄젠트h : 가중치 방향, i_gate : 추가

  입력 게이트, 출력 게이트, 망각 게이트, 업데이트 게이트

• 현수에게 : x3를 기준으로 했을 때,

  DLS_W12(1).pdf

https://ainewgeneration.com/recurrent-neural-network/