경사하강법 (Gradient descent)

경사하강법 (Gradient descent) Start

BioinformaticsAndMe

경사하강법 (Gradient descent)

: 함수 기울기(경사)를 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것

: 제시된 함수의 기울기로 최소값을 찾아내는 머신러닝 알고리즘 (↔ 기울기 최대값을 찾는 경사상습법이 존재)

: 비용 함수(cost function)를 최소화하기 위해 매개 변수를 반복적으로 조정하는 과정

: 학습을 통해 모델의 최적 파라미터를 찾는 것이 목표

경사하강법 과정

Step 1. 특정 파라미터 값으로 시작

: 가중치 w1 대한 시작 값(시작점)을 선택

: 여러 알고리즘에서는 w1을 0으로 설정하거나 임의의 값을 선택

Step 2. Cost function 계산

: 비용함수(cost function) - 모델을 구성하는 가중치 w의 함수

: 시작점에서 곡선의 기울기 계산

Step 3. 파라미터 값 업데이트

: 파라미터 - 학습을 통해 최적화해야 하는 변수

: Wnew =  W – learning rate * dW

Step 4. 반복 학습

: 앞서 과정이 n번의 iteration(절차 반복)으로 진행되고, 최소값을 향하여 수렴함

#Reference

1) https://ko.wikipedia.org/wiki/%EA%B2%BD%EC%82%AC_%ED%95%98%EA%B0%95%EB%B2%95

2) https://developers.google.com/machine-learning/crash-course

3) https://www.topcoder.com/blog/gradient-descent-in-machine-learning/

4) https://towardsdatascience.com/machine-learning-fundamentals-via-linear-regression-41a5d11f5220

경사하강법 (Gradient descent) End

BioinformaticsAndMe