728x90
위의 경우 net(h1) = 0.05*0.15+0.10*0.20 + 1*0.35
out(h1) 는 아래와 같이 구함
** epoch이 한번 돌때마다 weight가 업데이트 됨
Total error 계산방법
Back-propagation
예를 들어, 𝑤(ℎ1,𝑜1)를 update한다면
𝑤(ℎ1,𝑜1)값에서 아래 값을 빼서 update함
위의 편미분은 chain rule를 적용하여 아래와 같이 풀 수 있음
위의 우변 첫번째 항은
우변의 두번째 항은
마지막 우변의 세번째 항은
따라서,
728x90
'IT > 음성인식' 카테고리의 다른 글
| Attention의 Q, K, V와 Transformer (0) | 2023.04.12 |
|---|---|
| Vanilla RNN & Seq2seq & attention (0) | 2023.04.05 |
| RNN (0) | 2023.03.29 |
| 입/출력 end 복잡도 분석 (0) | 2023.03.15 |
| 음성인식 개론 - 특징 (0) | 2023.03.08 |