[인공지능] RNN 시계열 데이터와 순환 신경망

RNN (Recurrent Neural Network) 🐇¸.•*¨*•¸.•*¨*•¸.•*¨*•¸.•*¨*•

해당 자료는 강의 학습자료입니다. 강의 이외의 내용은 검색 및 다양한 자료를 통해 공부하며 정리한 내용의 포스팅입니다.

#AI #인공지능 #기계학습과인식 #chatgpt #python #study

---

시계열 데이터

- 시간 정보가 들어있는 데이터, 시간 축을 따라 신호가 변하는 동적 데이터

- 단어가 나타나는 순서가 중요

- 샘플의 길이가 다름 (기간에 따라 다르다. input data resolution 이 바뀔 수 있다.)

- 단순 이미지는, 시간을 나타내지,저장하지 않지만, 시간에 따라 변하는 데이터도 있다. 순서에 따라서 데이터의 의미가 바뀌는 경우가 있다. 

 

시계열 데이터를 인식하는 고전적인 모델

- ARIMA (Autoregressive integrated moving average)

- SARIMA (seasonal ARIMA)

- Prophet

 

시계열 데이터를 인식하는 딥러닝 모델

- 순환 신경망 (RNN)

- LSTM : 선별 기억 능력을 갖춰 장기 문맥 처리에 유리.

 

 

시계열 데이터의 중요한 특성

1. 요소의 순서가 중요하다.

2. 샘플의 길이가 중요하다.

3. 문맥 의존성

4. 계절성

 

시계열 데이터의 표현, 가변길이고 벡터의 벡터며 시간에 따라 여러가지 벡터로 표현가능

 

순환 신경망은 유연한 구조라 여러 문제에 적용 가능하다.

대표적 응용은 미래 예측 (Prediction 또는 forecasting)

ex) 내일 주가 예측, 내일 날씨 예측, 언어 번역, 음성 인식... 등

 

농산물 유통업자가 5년 동안 매일 판매량을 기록했다면? -> t = 365*5 =1825

 

x를 3개 하나의 sample을 input으로 가정. 

미래의 값은 없지만, 과거의 값을 통해 연산함으로써 미래의 값을 예측할 수 있다. 그리고 쌍으로 전해줄 수도 있다. 

 

 

 

윈도우 단위로 잘라 샘플링하는 프로그램

 

샘플 개수와 상관없는 재귀적인 모델

시계열 데이터를 처리하는 신경망은 다층 퍼셉트론을 약간 고쳐서 사용하면 된다.

 

 

u와 V도 똑같은데 W가 추가 되었다.

 

t가 10개 단어라고 해보자. h hiddln layer로 들어간 값이 출력되면 w을 곱한다음에 두번째 input도 같이 들어간다. h는 즉, 2개의 input을 가지게 된다. 그렇다면 w는 어떻게 할까? 고정한다. w는 항상 동일하게 곱한다. weight가 변하지 않으므로 U는 동일하다.

 

 

 

output은 항상 동일

 

샘플의 개수는 여러개일 수 있다. 별개의 weight로 설정했다면 U의 개수도 모두 별개로 설정했어했어야 했다. ex U1가 몇개, U2가 몇개, U3가 몇개... 따라서 재귀적으로 계산하면 자동 종료되기 때문에 몇 번 재귀계산을 할건지만 생각하면 된다. U의 가중치를 모두 동일하게 해서 연산이 간단해졌다.

 

순환 신경망의 학습

- 학습 알고리즘은 최적은 {U,V,W}를 알아내며

- BPTT (back-propagation through time) 알고리즘을 적용한다.

자세한 내용은 기계학습을 참고하고, time 측면도 고려하는 것, 시간도 고려해야만하는거 까지만 이해한다.

 

 

 

RNN

: 기억력에 한계가 있다.

 

LSTM (확장판), 선별 기억 능력 Long-Short-Term-Memory

 

순환 신경망의 기억력 한계

: 은닉층 상태를 다음 순간으로 넘기는 기능을 통해 과거를 기억한다.

: 하지만 장기 문맥 의존성 (멀리 떨어진 요소가 밀접한 상호작용하는 현상)을 제대로 처리하지 못하는 한계

: 계속 들어오는 입력의 영향으로 기억력 감퇴

맨 처음의 노드의 영향이 점점 사라진다.

 

중요한 내용은 o는 열림, 기억하지 않아도 되는 내용은 x는 닫힘을 사용한다.

실제로는 게이트는 0~1의 실수값이며 여닫는 정도가 가중치로 표현되며 가중치는 학습으로 알아낸다.

 

장기 의존성.

 

 

다양한 구조 설계 가능

 

양방향으로 문맥을 살필 필요가 있는 경우에는 양방향 LSTM을 사용한다.

red line : 미래부터 과거로 가게 반대로 계산, 그래서 두번째 layer가 등장.

 

ex) 잘 달리는 이 차...  / 고산지대에서 생상한 이 차는 향기가 좋다...... -> 차 tea? car? 구분

 

 

응용 문제에 따른 다양한 구조

 

일부만 출력할 수 있다. output을 하나만 예측하기. 미래값 하나만 예측 비트코인, 주식과 같은 내용.

근데 종가만 중요한게 아니라 고점, 저점이 중요한 경우? 두 개 더 출력하기.

언어마다 길이가 다른 경우? -> 여러 노드를 사용해서 출력하기.

 

 

 

 

LSTM으로 시계열 예측하기 프로그래밍 실습

- 단일 채널 : 종가만 고려

- 다중 채널 : 종가, 시가, 고가, 저가르 모두 고려

 

 

엑셀로 받으면, 1차원임. train_sample을 한 개를 통째로 넣으면 sample data가 1개뿐이므로 window 사이즈로 자른다.

 

 

 

 

달러, 원으로 했을 때는 업데이트가 변할까? 데이터 스케일(scale), 자릿수를 전혀 고려하지 않으면. 값이 달라질 수 있다. 이는 레이블 값으로 나눠주면 해결된다. 비율 자체가 되어 계산할 때 오차가 나지 않는다.

 

 

 

성능 기준

- 등락 정확률

- 등락을 얼마나 정확하게 맞히는지 측정

- 맞힌 경우의 수를 전체 샘플 수로 나눈다.

 

 

만약에 input이 여러 개 인경우? -?