Lab-02 강의 정리

선형 회귀(Linear Regression)

• 문제 제기: 4시간 동안 공부하면 성적이 얼마나 될 것인가에 대한 예측을 선형 회귀 모델로 해결

• 데이터 정의

  • 입력 데이터 xtrain은 [[1], [2], [3]]으로 공부한 시간
  • 출력 데이터 ytrain은 [[2], [4], [6]]으로 해당 시간에 따른 성적

• 모델 초기화

  • 가중치 W와 바이어스 b는 모두 0으로 초기화

    w와 b는 학습이 가능하도록 `requires_grad=True`로 설정
    

• 가설 설정

  • 가설 함수(hypothesis)는 선형 방정식 y=W⋅x+b로 설정

• 손실 함수

  • 예측값과 실제값의 차이를 제곱한 후 평균을 계산하여 손실(cost) 계산
  • torch.mean 함수 사용

• 최적화 과정

  • SGD(Stochastic Gradient Descent) 최적화 기법을 사용하여 모델 학습
  • 학습률은 0.01로 설정, 매 반복마다 optimizer.zero_grad(), cost.backward(), optimizer.step()를 실행하여 가중치와 바이어스를 업데이트

• 반복 학습

  • 1000번의 epoch 동안 위의 과정을 반복하여 모델이 데이터를 학습시키도록 함.

Lab-03 강의 정리

경사 하강법(Gradient Descent)

• 경사 하강법은 비용 함수를 최소화하는 방향으로 가중치W를 업데이트하는 방법
• 기울기(gradient)가 클수록 더 빠르게 업데이트가 이루어지며, 학습률(learning rate)은 0.1로 설정

비용 함수(Cost Function)