1. 5가지의 activation function에 대한 정리 a. Step Function 이제는 거의 사용하지 않음 b. Sigmoid Function Gradient Descent가 발생할 수 있음 c. tanh function sigmoid는 0~1값을 갖지만, tanh는 -1~1의 값을 가지므로 변화폭이 더 큼 그러므로 sigmoid 함수보다는 기울기 소실이 적은 편임 d. ReLU f(x) = max(0, x) tanh과 같이 연산이 필요한 것이 아니라, 단순 임계값이므로 연산속도가 빠름 e. Leaky ReLU f(x) = max(ax, x) a는 일반적으로 0.01값을 가짐 f. softmax function 2. 7가지의 Optimizer 방법 optimizer의 전체 흐름은 아래 표에 ..
