zo_zni's Blog

FFNN 초기 FFNN 은 입력이 늘 하나의 고정된 벡터였음. RNN RNN은 벡터의 열을 입력으로 받음. 이전타임의 hidden state 값을 이용해서 현재 hidden state를 변화시킬 수 있기 때문에 연속된 입력에 따라 변화를 모델링. Bidirectional RNN 양방향 RNN. 기존 RNN에서 반대방향으로도 가능하도록 함. LSTM RNN 기존 RNN이 Vanishing Gradient Problem이 있기 때문에 이를 해결하기위해 input/ouput/forget gate를 추가함. Gated Recurrent Unit (GRU) LSTM RNN이 많은 게이트를 사용하는 반면 GRU는 게이트 수를 많이 줄였다. Encoder-Decoder Model encoder RNN과 decoder..

RNN(Recurrent Neural Network)은 시퀀스(Sequence) 모델이다. 입력과 출력을 시퀀스 단위로 처리하는 모델이다. 번역기를 생각해보면 입력은 번역하고자 하는 문장. 즉, 단어 시퀀스. 출력에 해당되는 번역된 문장 또한 단어 시퀀스이다. 이러한 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델이라고 한다. 그 중에서도 RNN은 딥러닝에 있어 가장 기본적인 시퀀스 모델이다. 전통적인 RNN 기반의 기계 번역은 입력과 출력의 크기가 같다고 가정한다. 15:52 위 파라미터들은 하나만 학습이 되고 입력이 반복적으로 주어진다고 보면됨. 각각 나오는 hidden state (h1, h2, h3) 값은 현재 등장했던 단어에 대한 전체 문맥 정보를 포함하고 있다. 입력과 출력의 크기가 같다..