Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition (https://arxiv.org/abs/1402.1128)1. 서론순환신경망 (RNN)의 한계점장기 의존성 문제Sequence의 길이가 길어질수록, 과거 정보 학습에 어려움이 발생 기울기 소실0~1 사이 gradient 값이 연쇄법칙을 통해 0으로 수렴하는 문제가 생김장기 과거 시점에 대한 모델 파라미터 업데이트가 안됨장기 과거 시점에 대한 모델 학습이 안됨. 순환신경망 (RNN)의 한계점2. LSTM 아키텍처 (LSTM Architectures)LSTM은 장기 의존성 문제를 완화한 RNN 개선 모델Cell st..

1. RNN의 등장 배경가. 시계열 데이터RNN(Recurrent Neural Network)은 시간에 따라 변화하는 데이터를 다루기 위해 등장했습니다. 기존의 신경망(DNN)은 독립적인 데이터를 처리하기에 적합하지만, 시계열 데이터와 같이 순서가 중요하고 이전 정보가 현재의 예측에 영향을 미치는 경우에는 효과적이지 않습니다. 예를 들어, 주가 예측, 음성 인식, 언어 모델링과 같은 분야에서 이전 정보가 현재 정보에 영향을 줍니다. RNN은 바로 이러한 문제를 해결하기 위해 개발되었습니다.나. DNN 복습DNN(Deep Neural Network)은 입력 데이터 간 독립성을 전제로 하며 데이터 간 상호작용이 없다고 가정합니다. 이로 인해 DNN은 데이터 간 시계열적 또는 순서적 연관성을 무시하게 됩니다...