진우

• 정준에게 : 동영상 데이터의 차원은 몇일까요?
  • (Sample, Frame, width, height, channel) = 5
• 이영에게 : 데이터 타입을 uint8형태로 쓰지 않고, float32로 바꿔서 사용하는 이유
  • 신경망의 입력 데이터의 스케일이 크면 학습이 잘 되지 않는다. ( 매우 작으면?)
• 현우에게 : assert의 역할은?
  • ?
  • try - except와 다른점: try - except는 예상한 에러를 처리하지만 assert는 예상치 못한 에러를 처리한다.

현우

• 성현에게 : 배치를 정하는 기준은 무엇인가요?

  • 배치사이즈는 보통 32, 64, 128,... 로 하고, 나는 샘플이 10000개 이하이면 32로 한다. 그렇게 크게 차이는 나지 않을 것
  • 현수 : 배치사이즈가 크면 램이 부담이 되어서, 램에 맞춰서 batch_size 설정

• 진우에게 : 행렬의 결합법칙이 성립함을 증명하시오 [4점]

  행렬의 곱을 선형 변환의 연속 관점에서 보면 성립

  cf) 결합법칙 = (AB)C = A(BC) , 일반적으로 교환법칙은 성립하지 않음

• 현수에게 : RMSProp 최적화 함수에서 learning_rate의 default 값은?

  • 0.001
  • help(function_name) 또는 function_name?

  

현수

• 정준에게 : 시간에 관한 축은 특정한 인덱스를 사용하는데 보통 어떤 인덱스인가?
  • (Sample, Frame, width, height, channel), 에서 (2번째)
• 이영에게 : 확률적 경사하강법(SGD)의 장단점
  • 장점 = 개별 데이터에 대한 미분을 수행하기 때문에 비용이 적다 , 빈번한 업데이트로 성능 확인 가능, 일부 문제는 더 빨리 수렴, 지역 최적화 회피,
  • 단점 = GPU의 성능을 활용하지 못한다. 학습 중간 과정의 진폭이 불안정하고 크다. cost값이 더이상 줄어들지 않는 지점을 찾기 어렵다
• 훈련 샘플이 12,800개이고, 배치 사이즈가 128일 때 5에프크면 몇번 업데이트가 이루어지나요?
  • 500 = 12,800 / 128 *5 → 1 에포크당 12800개

이영

• 진우에게 : 브로드 캐스팅은 어떤경우에 사용하는가?

  • 행렬의 크기가 다를 때 쓰는것 같다.

• 성현에게 : 모멘텀이란 무엇인가?

  

  

• 현우에게 : ReLu의 특징은?

  

  

  

  • 입력값이 0보다 작으면 0을 출력, 0보다 크면 입력값을 그대로 반환
  • Leaky ReLu 단점 → 소규모 데이터에서 오버피팅 되는 경향이 있다.
  • ELu 단점 → $e^x$ 는 계산 코스트가 비싸!!

  

정준

• 현수에게 : Gradient Descent의 문제에는 무엇이 있을까요?

  • 모델을 학습할 때 결과가 피드백이 되어서 모델에 영향을 주어야하는데 Vanishing Gradient로 인해 모든 layer에 영향을 미치기 어려워진다.

    cf) 85p : 지역해, 수렴속도

• 현우에게 : 손실을 감소시키려면 그래디언트를 정방향으로 이동해야 하나요? 역방향으로 이동해야 하나요? 80p

  • 그래디언트의 반대방향
  • 그래디언트 : 값이 가장 커지는 방향

• 성현에게 : 미니배치란 무엇인가요? 또한 true SGD와 배치 SGD 둘의 차이는 무엇인가요? 84p

  다르게 말해서 : 미니배치란 무엇인가요? 또한 SGD와 배치 SGD 둘의 차이는 무엇인가요?

  • SGD : 1개씩
  • full batch :
    • 업데이트 횟수 감소
    • 안정적인 수렴
    • 지역 최적화 회피
    • 메모리 과다
  • mini batch :
    • 시간 절약
    • full + SGD
    • 안정적 수렴

  

  성현: 수치미분(GD)이 vs 오차 역전파 오래 걸리는 것은 반복 횟수 때문인가?