[concept] RNN : Recurrent Neural Network, 순환신경망

RNN(Recurrent Neural Network)은 시퀀스(Sequence) 모델이다.

입력과 출력을 시퀀스 단위로 처리하는 모델이다.

번역기를 생각해보면 입력은 번역하고자 하는 문장. 즉, 단어 시퀀스.

출력에 해당되는 번역된 문장 또한 단어 시퀀스이다.

이러한 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델이라고 한다.

그 중에서도 RNN은 딥러닝에 있어 가장 기본적인 시퀀스 모델이다.

 전통적인 초창기 RNN 기반의 언어 모델에서 번역이 이루어지는 과정

전통적인 RNN 기반의 기계 번역은 입력과 출력의 크기가 같다고 가정한다.  15:52

위 파라미터들은 하나만 학습이 되고 입력이 반복적으로 주어진다고 보면됨. 

각각 나오는 hidden state (h1, h2, h3) 값은 현재 등장했던 단어에 대한 전체 문맥 정보를 포함하고 있다.

 

입력과 출력의 크기가 같다고 가정하기 때문에 현실적인 번역 문제에서 이를 사용하기는 쉽지 않다. 

이런식으로 매번 들어갈 때마다 결과가 나오는 방식은 정확한 결과를 예측하기가 어렵다. 그렇기 때문에 

 

Seq2Seq에서 제안된 방법은 초반에는 Encoder를 통해서 전체 문장에 대한 모든 정보를 담고 있는

하나의 context vector를 뽑은 뒤에 거기에서부터 디코딩이 이루어질 수 있도록 만들어보자는 것이다.