RNN

sequence modeling 종류

 

 

 

Recurrent Neural Networks

t-1 즉, 이전 상태와 계산하여 현재 상태의 h를 구하는 것임

tanh함수를 주로 사용함

 

 

 

tanh를 사용하는 이유

: gradient(미분값의 range가 0~1임)를 더 크게 가져가기 위해서임

** sigmoid는 미분값의 range가 0~0.2x밖에 안됨

 

 

 

Update Hidden State

아래와 같은 식을 통해 update함