Feed Forward Neural Net

위의 경우 net(h1) = 0.05*0.15+0.10*0.20 + 1*0.35

out(h1) 는 아래와 같이 구함

** epoch이 한번 돌때마다 weight가 업데이트 됨

 

 

 

Total error 계산방법

 

Back-propagation

예를 들어, 𝑤(ℎ1,𝑜1)를 update한다면

𝑤(ℎ1,𝑜1)값에서 아래 값을 빼서 update함

위의 편미분은 chain rule를 적용하여 아래와 같이 풀 수 있음

 

위의 우변 첫번째 항은

우변의 두번째 항은

마지막 우변의 세번째 항은

따라서,