오늘은 배치정규화와 배치정규화를 함으로써 얻을 수 있는 장점 3가지를 정리하고자 한다. 목적: 우선 배치 정규화란 은닉층을 거쳐 나온 값들의 분포가 적당히 골고루 분포되게 강제화 해주는 것이다. (가중치 초기화의 목적과 같다.) 이유: 배치정규화를 통해 vanishing gradient문제를 해결 할 수 있다. 예를 들어, 아래와 같은 sigmoid 함수를 보면 sigmoid를 미분한 값은 점선의 곡선처럼 나타나는데, 이는 양 끝단에서, vanishing gradient가 발생할 수 있다는 걸 알수있다. 이 해결책으로 제시된 것이 아래와 같은 그림의 batch normalization이다. 위의 그림이 보여주는 것은 activation의 input 즉, wx+b의 많은 값들을 sigmoid함수에서 기울기..
