ㅊ
-
Transformer카테고리 없음 2024. 3. 11. 20:23
최근 NLP에서 빠지지않고 들어가는 Transformer에 대해서 리뷰해보겠다. Attention is all you need(2017)를 참조하여 작성하였다. 1-1.I/O->Encoder input data가 인코더로 들어가는 과정이다. 이때 문장들의 sequences가 주어졌을 때, 가중치 행렬에 대하여 내적을 수행한다.(embedding) 그 결과 각 문장들의 토큰들이 학습시 임베딩 레이어를 통해 벡터로 들어가게 된다. 1-2.장점 이로 인한 장점으로는 seq2seq는 RNN을 사용하여 순차적 데이터 처리과정을 밟게 되는데 반해 transformer는 한 번에 내적을 수행함으로 기울기 소실 문제가 해결되게 된다. 1-3.문제점과 해결책 하지만 문장내에서 순서가 중요하고, 각 토큰에 유일한 값과 토..