SGD와 같이 1차 미분을 통한 최저점을 찾는 방법에 대해서는 성능이 느리다는 단점이 있습니다. 지그재그로 경사를 내려가며 최저점을 찾기 때문에, 매우 속도가 느린 것이지요. 그 것의 대안으로 2차 미분을 이용한 최적화 방법이 있습니다. 2차 미분은 아래 그림의 빨간선과같이 더 빠른 최저점을 찾아갈 수 있는 대안을 제시합니다. 2차 미분을 활용하여, 매개변수를 업데이트 하는 수식은 아래와 같지요. 여기서 H(Hessian)은 2번 미분한 값입니다. 2차 미분의 가장 큰 단점은 아래와 같습니다. 1. 과다한 계산량 필요 2. 2차 미분이 불가능한 수식들이 존재 이 문제점을 해결하기 위해, 켤레그레디언트 방법과 유사뉴턴 방법이 등장했습니다. 왼쪽 그림은 SGD방법이고 오른쪽은 켤레그레디언트 방법입니다. SG..
