SKN AI bootcamp 5기 7주차

경사하강법, 순전파, 역전파 개념 정리

 

1. **경사하강법(Gradient Descent)**
   - **정의**: 경사하강법은 모델의 손실 함수(loss function)를 최소화하기 위해 사용되는 최적화 알고리즘입니다.
   - **작동 원리**: 
     - 손실 함수의 기울기(gradient)를 계산하여 기울기가 낮은 방향으로 가중치를 업데이트합니다.
     - 기울기가 큰 곳은 가중치를 빠르게 변화시키고, 기울기가 작은 곳에서는 변화폭을 줄이며 최적의 가중치에 수렴합니다.
     - 학습률(learning rate)에 따라 가중치 업데이트의 크기를 조정합니다.
   - **종류**: 
     - **배치 경사하강법(Batch Gradient Descent)**: 전체 데이터셋을 사용하여 한 번에 업데이트.
     - **확률적 경사하강법(Stochastic Gradient Descent, SGD)**: 하나의 데이터 포인트마다 가중치를 업데이트.
     - **미니 배치 경사하강법(Mini-Batch Gradient Descent)**: 일정 크기의 배치로 나누어 가중치를 업데이트.

2. **순전파(Forward Propagation)**
   - **정의**: 입력 데이터를 모델에 통과시켜 예측값을 계산하는 과정입니다.
   - **작동 원리**: 
     - 입력층에서 출력층으로 신호가 전달됩니다.
     - 각 뉴런의 가중치와 입력값을 곱한 후 활성화 함수(Activation Function)를 적용하여 다음 층으로 전달합니다.
     - 최종적으로 예측값이 출력층에서 계산됩니다.
   - **핵심 역할**: 모델이 주어진 입력에 대해 출력값을 예측하는 과정으로, 손실을 계산하는 데 사용됩니다.

3. **역전파(Backpropagation)**
   - **정의**: 순전파에서 계산된 예측값과 실제값 사이의 오차를 기반으로 가중치를 업데이트하는 알고리즘입니다.
   - **작동 원리**: 
     - 순전파의 결과로 계산된 손실을 기준으로 오차를 출력층에서부터 입력층으로 거슬러 올라가면서 계산합니다.
     - 이 오차는 각 가중치에 대한 기울기(gradient)를 계산하는 데 사용되며, 경사하강법을 통해 가중치를 업데이트합니다.
   - **핵심 역할**: 모델의 학습 과정에서 가중치를 조정하여 예측 성능을 개선합니다.

4. **딥러닝 관련 개념**
   - **뉴럴 네트워크(Neural Networks)**: 여러 층(layer)을 통해 데이터를 처리하는 모델. 입력층, 은닉층(hidden layer), 출력층으로 구성됩니다.
   - **활성화 함수(Activation Function)**: 뉴런의 출력값을 결정하는 함수. 비선형성을 도입하여 복잡한 패턴을 학습할 수 있게 도와줍니다. 대표적인 활성화 함수로는 ReLU, Sigmoid, Tanh 등이 있습니다.
   - **손실 함수(Loss Function)**: 모델의 예측값과 실제값 간의 차이를 측정하는 함수. 대표적인 손실 함수로는 평균 제곱 오차(MSE), 교차 엔트로피(Cross-Entropy) 등이 있습니다.
   - **하이퍼파라미터(Hyperparameters)**: 학습률, 배치 크기 등과 같이 모델 학습에 영향을 미치지만 학습 과정에서 자동으로 학습되지 않는 값들입니다.