학습률 (Learning rate)

학습률 (Learning rate) Start

BioinformaticsAndMe

학습률 (Learning rate)

: 경사하강법 알고리즘은 기울기에 학습률(Learning rate) 또는 보폭(Step size)이라 불리는 스칼라를 곱해 다음 지점을 결정

: Local minimum에 효율적으로 도달할 수 있도록, 너무 크지도 작지도 않은 적절한 학습률을 세팅해야 함

학습률이 큰 경우 : 데이터가 무질서하게 이탈하며, 최저점에 수렴하지 못함

학습률이 작은 경우 : 학습시간이 매우 오래 걸리며, 최저점에 도달하지 못함

사용된 학습률이 경사하강법에서 효율적인지 확인하기 위해, 아래 2차원 그림을 그려봄

- loss : cost function

- epoch : number of iterations 

low learning rate: 손실(loss) 감소가 선형의 형태를 보이면서 천천히 학습됨

high learning rate: 손실 감소가 지수적인(exponential) 형태를 보이며, 구간에 따라 빠른 학습 혹은 정체가 보임

very high learning rate: 매우 높은 학습률은 경우에 따라, 손실을 오히려 증가시키는 상황을 발생

good learning rate:  적절한 학습 곡선의 형태로, Learning rate를 조절하면서 찾아내야 함

#Reference

1) https://en.wikipedia.org/wiki/Learning_rate

2) https://developers.google.com/machine-learning/crash-course

3) https://medium.com/mindorks/an-introduction-to-gradient-descent-7b0c6d9e49f6

4) https://taeu.github.io/cs231n/deeplearning-cs231n-Neural-Networks-3/

학습률 (Learning rate) End

BioinformaticsAndMe