[인공지능] RNN Recurrent Neural Network 2

RNN2🐇¸.•*¨*•¸.•*¨*•¸.•*¨*•¸.•*¨*•

해당 자료는 강의 학습자료입니다. 강의 이외의 내용은 검색 및 다양한 자료를 통해 공부하며 정리한 내용의 포스팅입니다.

#AI #인공지능 #RNN #chatgpt #python #study #0412

---

 

악보를 학습하는 LSTM 신경망

ABC 표기를 연주하는 프로그램을 제작하기. 

 

 

 

 

 

accuracy 가 100% : 작은 별과 동일한 곳이 되었으니, 편곡의 의미가 없다.

 

 

 

 

변형된 첫 소절로 편곡

: 똑같은 곡을 생성해내는 것은 무의미, 원래 곡의 패턴을 유지하면서 원래 곡과 다른 곡을 생성하기.

 

 

세 곡을 시계열로 변환하고 결합.

 

 

 

퀄리티가 낮고 높으냐는 학습하고 개선하면 되지만, 구현 가능한게 중요하다.

 

자연어 처리 (Natural language processing NLP)

:언어를 사용하는 인간, 인간이 구사하는 언어를 자동으로 처리하는 인공지능 분야

: 다양한 응용이 가능하다. 언어 번역, 영화평 댓글 분석, 고객 응대 챗봇, 소설이나 시를 쓰는 창작 인공지능

 

 

영화평 데이터셋인 IMDF의 예제 문장에선 텍스트의 특성이 잘 나타난다.

 

텍스트 데이터의 특성

- 시계열 데이터로서 시간 정보가 있고 샘플마다 길이가 다르다는 기본 성질

- 그 외 독특한 특성

- 심한 잡음

- 형태소 분석 필요

- 구문론과 의미론

- 다양한 언어 특성

- 신경망에 입력하려면 기호를 수치로 변환해야 함

 

원핫 코드 표현으로 변환하는 절차

예) 말뭉치 사례

단어 수집 (괄호 , 빈도수)

파이썬의 자료구조인 딕셔너리를 이용한 표현 (빈도수에 따른 순위 부여)

텍스트를 숫자 코드로 변환

ㄴ

원핫 코드 표현

메모리가 엄청 낭비 될 수 있고, 연관관계를 반영하지 못한다는 단점

 

 

텐서플로가 제공하는 텍스트 데이터, 영화를 평가한 댓글을 모아둔 IMDB 데이터 셋

50000개의 댓글을 긍정 평가와 부정 평가로 레이블링

감정 분류 문제에 주로 사용

양한 토픽의 뉴스를 모아둔 Reuters 데이터세트

 

 

단어 임베딩 word Embeding

단어를 저차원 공간의 벡터로 표협한는 기법

보통 수백 차원을 사용

밀집 백터

단의의 의미를 표현

신경망 학습을 통해 알아냄.

 

프로그램 8-8 프로그램 8-7 성능 분석

: 프로그램 8-8은 LSTM을 사용해 시계열 특성을 반영하고 조기 멈춤을 적용해 더 유리한 상황인데 프로그램 8-7보다 열등한 성능을 보인다 왜???

 

-> 두 프로그램 모두 단어의 빈도수에 따라 분류

-boring, terrible, bad 등이 많으면 부정, wonderful, good 등이 자주 나타나면 긍정으로 분류

 

문장의 의미를 파악하지 못한채 분류

- To me all of the movies are terrible, but this one is not.

: terrible이 있다는 이유로 두 프로그램 모두 부정으로 분류하는 경우

 

단어 임베딩 공간에서 다층 퍼셉트론으로 IMDB 인식,

- 단어 임베딩 기술을 이용하여 IMDB의 샘플을 긍정과 부정으로 분류

 

단어를 벡터 공간에 표현하는 단어 임베딩 기술

- 오래 전 부터 연구되어온 아이디어