경사하강법 종류

경사하강법 종류 Start

BioinformaticsAndMe

경사하강법 종류 (Types of Gradient Descent)

: Gradient Descent Learning에는 기본적으로 3가지 타입이 존재

*경사하강법 배치 - 단일 반복에서 기울기를 계산하는 데 사용하는 예의 총 개수

*배치가 너무 커지면 단일 반복으로도 계산하는 데 오랜 시간이 걸림

1. Batch Gradient Descent

: 파라미터를 업데이트 할 때마다 모든 학습 데이터를 사용하여 cost function의 gradient를 계산

: Vanilla gradient descent 라고도 불림

: 불필요하게 낮은 learning 효율을 보일 수 있음

2. Stochastic Gradient Descent (SGD)

: 파라미터를 업데이트 할 때, 무작위로 샘플링된 학습 데이터를 하나씩만 이용하여 cost function의 gradient를 계산

: 모델을 훨씬 더 자주 업데이트하며, 성능 개선 정도를 빠르게 확인 가능

: Local minima 에 빠질 가능성을 줄일 수 있음

: 최소 cost에 수렴했는지의 판단이 상대적으로 어려움

3. Mini Batch Gradient Descent (Mini batch SGD)

: 파라미터를 업데이트 할 때마다, 일정량의 일부 데이터를 무작위로 뽑아 cost function의 gradient를 계산

: Batch gradient descent 와 Stochastic gradient descent 개념의 혼합

: SGD의 노이즈를 줄이면서, 전체 배치보다 효율적

: 널리 사용되는 기법

#Reference

1) https://medium.com/mindorks/an-introduction-to-gradient-descent-7b0c6d9e49f6

2) https://developers.google.com/machine-learning/crash-course

3) https://towardsdatascience.com/gradient-descent-algorithm-and-its-variants-10f652806a3

경사하강법 종류 End

BioinformaticsAndMe