sarah0518

지난번 정리 내용에서는 binary-class classification일 때 사용하는 cross-entroypy 목적함수를 설명했었다. 이번에는 multi-classification에서 사용하는 목적함수인 로그우도 목적함수와 softmax 활성함수(역시 multi-class classification에서 사용)에 대해 정리해보려고 한다. 우선 softmax 활성함수부터 설명해보자. 그림으로 설명하면 더 쉬울 것 같다. 이 그림을 설명해 보면 출력층에서 S1=2, S2=1.2, S3=4 라는 값이 나왔을 때 이것을 확률값으로 변경해주는 것을 생각해보자. 예를 들어, max에 표시된 것처럼 S1=0, S2=0, S3=1로 출력층의 값을 변화시켜 주면 총합은 1이 되며, 출력층을 통해 나온 결과는 가장 마지..

오늘은 교차엔트로피 목적함수와 베르누이 확률분포를 통한 유도방법을 정리해보고자 한다. 우선 교차엔트로피 목점함수는 아래와 같다. 교차엔트로피 목적함수를 유도하기 위해서는 베르누이 확률분포를 먼저 이해하면 좋다. 베르누이 확률분포에 대한 설명이다. 베르누이 확률분포는 실험결과가 두 가지 중에 하나로 나오는 시행으로 예를 들어 성공 vs. 실패 와 같은 예시를 들 수 있다. 이걸 식으로 표현 해보면, P(x=1) = p, P(x=0) = 1-p 이다. 위의 식이 뜻하는 것은 성공할 확률(x=1)을 p라고 하면 실패할(x=0) 확률은 1-p이다. 그러므로 그에 따른 확률분포는 아래와 같다. 다시 한번 예시로 설명해보자면, x=1을 대입하면 아래와 같은 값이 나오고, x=0을 대입하면 아래와 같이 1-p가 되어..

기본적으로 통계학에서 목적함수라하면 MSE를 가장 많이 사용했었다. Mean Squre Error로 오차의 제곱의 평균이다. 즉, 실제값과 예측값의 오차의 거리를 측정하여 그것의 평균을 가지고 목적함수를 사용한 것이다. 말이 목적함수이지만, 결국 이 목적함수를 줄이는게 성능을 높이는 것이라고 생각하면 된다. 특히 MSE를 회귀분석쪽에서 많이 사용했다고 한다면, Entropy는 분류쪽에서 많이 사용한다. 오늘은 Entropy 목적함수에 대해서 조금 자세히 살펴보고자 한다. 정보량을 놀람의 정도라고 생각을 해보자. 새로운 정보가 듣도 보도 못한 정보라면, 놀람의 정도는 증가하게 된다. 이걸 수식으로 표현하면 "놀람의 정도 = I(x)=-logP(x)" 라고 할 수 있는데, 왜 logP(x)인가에 대해서는 그..