경사하강법 Gradient Descent
손실함수의 최솟값을 구하기 위해 그라디언트의 미분계수가 0이 되는 지점을 찾아야한다. 파라미터가 1000개일 때, RSS의 최소제곱합을 미분을 통해 구하려면, 미지수가 1000개인 연립 2차 방정식을 풀어야 한다. 기하급수적으로 늘어나는 계산량을 감당할 수 없다. 따라서, 우리는 방정식을 푸는 것이 아닌, 대입법을 통해 문제를 해결한다. 그것이 바로 경사하강법이다.
경사하강법은 조금씩 숫자를 바꿔서 대입해가며, 로스를 계산한다. 로스가 떨어지는지, 증가하는 지를 추적해 가는 것이다. 그러다 보면 아래 그림과 같이 전역에서 최소(Best) 로스인게 아닌, 로컬에서만 최소인 지점으로 파라미터가 수렴할 수 있다.
모든 Critical Point를 미분을 통해 계산하는 게 아닌, 대입법으로 조금씩 더듬더듬 찾아가는 방법인지라 발생하는 문제이다.
예컨대 1개의 input과 1개의 output을 갖는 함수
이처럼 그라디언트 결과값은 선형 근사적 성질을 갖는다.
Optimizer
로스를 작게 하기 위해 파라미터를 어떻게 업데이트 해 갈 것인지를 결정하는 것.
