순환 신경망

순환 신경망의 정의

• 시퀀스 모델링 및 변환 문제에서 확립된 최첨단 접근 방식이다.

LSTM과 게이트 순환 신경망의 역할

• 언어 모델링과 기계 번역에서 주요한 역할을 한다.

순환 모델의 계산 방식

• 입력 및 출력 시퀀스의 기호 위치를 따라 계산을 분할한다.

순환 모델의 특징

• 이전 숨겨진 상태 \( h_{t-1} \)와 현재 위치의 입력을 기반으로 숨겨진 상태 \( h_t \)를 생성한다.

순환 모델의 제한

• 훈련 예제 내에서 병렬화가 불가능하다.

길이가 긴 시퀀스에서의 제약

• 메모리 제약으로 인해 예제 간 배치 처리에 제한이 생긴다.

최근 연구의 개선점

• Factorization 기법과 조건부 계산을 통해 계산 효율성과 모델 성능을 개선했다.