가중치 초기값 이번에는 가중치 초기값의 2가지 규칙과 초기화 기법 2가지 방법을 알아보겠습니다. 가중치 초기값에서는 아래의 2개의 규칙만 기억해주면 됩니다. 1. 가능하면 작은 값의 가중치를 사용 (단, 가중치 값들이 동일한 값을 갖으면 안됨) 2. 각 층의 활성화 함수를 거쳐 나온 값들은 적당히 골고루 분포되어있어야 함 2번 규칙을 조금 더 자세히 알아보도록 하죠. 아래 그림은 w값이 평균 0, 표준편차 1인 정규분포에서 초기화 시킨 후, sigmoid 활성화 함수를 거쳐 나온 값입니다. 결론을 말하면 위의 출력값들은 좋지 못한 값을 가지고 있습니다. 왜냐하면, sigmoid출력값이 0과 1에 치우쳐져 있기 때문에, back propagation을 진행하게 되면 아래 그림과 같이 sigmoid함수에서 ..
