[인공지능] CNN(Convolution neural network)2 #CNN

CNN(Convolution neural network) 🐇¸.•*¨*•¸.•*¨*•¸.•*¨*•¸.•*¨*•

해당 자료는 강의 학습자료입니다. 강의 이외의 내용은 검색 및 다양한 자료를 통해 공부하며 정리한 내용의 포스팅입니다.

#AI #인공지능 #인공지능기초 #python #study #0405

---

 

Convolutional neural network

 

1. 커널 /특징맵 시각화

2. CNN 성능 향상 기법 (하이퍼파라미터? 오버피팅?)

3. 프로그래밍 사례

 

---

컨볼루션 신경망의 시각화

 

두 가지 시각화를 시도

- 컨볼루션층에 있는 커널을 시각화 (weight == kernel)

수평, 수직인지 사람은 알아보기 힘든데, 커널을 통과하여 나온 output은 사람이 알아보기 편하다.

 

 

채널이 3개라서, 3차원이다. RGB, ex_0_0, 0_1,0_2

 

다 보기엔 많으니까 1번만 imshow

 

커널을 어떤것을 적용하느냐에 따라 다양한 특징맵이 추출.

map7, map12같은 경우. 모두 검은색으로 추출되었다. 따라서 쓸모없는 kernel이 존재할 수 있다.

input데이터를 바꾸어도 검은색만 추출한다면. 정말 쓸모없는 특징맵일 수 있다.

따라서 중간중간 점검할 수 있다.

 

 

 

- 컨볼루션층이나 풀링층이 추출해주는 특징 맵을 시각화

 

 

 

딥러닝의 규제

딥러닝: 충분히 큰 신경망 구조를 사용하되, 다양한 규제 기법을 적용하여 과잉 적합을 방지

- 데이터 증대, 드롭아웃, 가중치 감소, 앙상블, 배치 정규화 등의 다양한 규제 기법이 있다.

 

데이터 증대 : 학습 데이터를 늘린다.

과잉 적합을 방지하는 가장 확실한 방법은 큰 훈련 집합을 사용하는 것이다. 그러나 이렇게 데이터를 늘리는 일은 많은 비용이 소요된다. 딥러닝에서는 주어진 데이터를 인위적으로 늘리는 데이터 증대(data augmentation)를 적용하는 방법이 있다.

- 영상을 이동, 회전 또는 좌우반전

- 명암 조정 등

- 텐서플로는 훌륭한 함수 제공

 

코드

 

generator을 사용하여 데이터 증대를 한다. 딥러닝은 일반화에 약하기 때문에 약간의 수정만으로도 정확도를 향상할 수 있다.

 

데이터 증대시 정확률이 상승한다.

validation을 보면 아직 수렴하지 않아서 더 정확해질 수 있다.

 

 

 

드롭아웃(dropout)

정말 중요한 것을 남기고, 쓸모없는 것을 버려서 overfitting을 방지한다. 일정 비율의 가중치를 임의로 선택하여 불능으로 만들고 학습하는 규제기법이다. 불능이 될 예지는 샘플마다 독립적으로 정하는데 난수를 이용하여 랜덤하게 선택

총 3번 드롭아웃을 했는데 주의해야할 점은 마지막 layer은 dropout 하지 않는다. 10개의 class에서 9개의 class를 사용하면, 정확도가 크게 떨어지게 된다.

 

가중치 감쇠(weight decay)

 

과잉 적합에서는 가중치 값이 아주 큰 현상이 나타난다. 가중치 감쇠는 성능을 유지한 채로 가중치 크기를 낮추는 규제 기법이다. overgitting시 너무 값을 잘 맞추기 위해 가중치 값을 엄청 크게 잡아서 test set에서 overfitting이 더 자주 발생할 수 있다. (쉽게 튄다)

 

 

weight 값도 집어 넣으면......... 네?

아무래도.... 다시 들어야겠다....

 

적절하게 100%, 1%와 같은 람다를 추가하여 규제할 수 있다.

U자체를 제곱하여 더 가중치를 확대할 수도 있다.

 

가중치 감쇠를 위한 텐서플로 프로그래밍

- Kernel_regularizer(가중치에 적용)

- Bias_regularizer(바이어스에 적용)

- Activity_regularizer(활성 함수 결과에 적용)

 

 

규제 기법3 : Batch(한 바구니, 한 세트로 묶겠다.) Normalization(정규화)

수식은 참고용

포토샵에서 고양이 사진을 밝기를 낮춘다고해서, 강아지가 되지 않는다. 그러나 input 데이터에서 고양이사진은 실내라서 어둡고. 강아지 사진은 산책하면서 찍어서 밝다면, 밝기를 통해 고양이와 강아지를 구분하도록 학습한다면 오류가 발생할 수 있다. 따라서 밝기를 정규화하는 작업이 필요하다.

 

 

참고용. 이런 방법도 있다.

- batch normalization

- dropout

둘 중 하나만을 사용해서 정확성을 높이자.

 

왜 50개를 사용했는데 효과가 있는지 입증하는 방법

- batch를 빼본다. 빼서 크게 차이가 있다면? -> 효과가 있다.

- layer을 몇 개 빼본다. 크게 차이가 있다면? -> 해당 layer 가 효과가 있다.

 

블랙박스 모델이기 때문에, 실험적으로 증명할 수 밖에 없다. 그래서 비교를 통해 평가해야 한다.

 

 

성능 평가 쟁점

성능 평가의 중요성

- 하이퍼 매개변수 최적화나 모델 선택에서 중요

- 현장 설치 여부를 정할 때 중요

 

객관적인 성능 평가 방법

- 교차 검증 : 데이터를 분할하여 여러 번 반복함으로써 통계적 신뢰성을 높임

- 제거 조사 (ablation study) : 여러 선택사항이 있을 때, 선택 사항을 하나씩 빼고 성능을 측정해봄으로써 각각의 기여도를 평가

0이면 안한거, 값이 있으면 한 거

range가 넓어지면, 오차가 발생할 수 있다.

 

 

 

전이 학습 (transfer learning)

전이 학습의 원리

- 인간의 전이 학습 : C언어에 능숙한 학생은 파이썬을 금방 배운다, domain은 변경되도 새로운 domain에 잘 적응 할 수 있다. 이는 겉모습은 달라도 원천적인 개념과 사용법을 공유하기 때문이다.

딥러닝에도 같은 원리가 적용된다.

 

전이학습

- 어떤 도메인의 데이터로 학습한 모델을 다른 도메인의 데이터를 인식하는데 활용하여 성능 향상을 꾀하는 기법

- 데이터가 부족하여 스크래치 학습으로 높은 성능을 달성하기 어려운 상황에 주로 사용

 

 

따라서 텐서플로에서는 예비 학습 모델(pre-trained model)을 제공한다. 이는 ImageNet으로 이미 학습되어 있는 모델을 의미하며 가져와서 사용하면 편리하다.

많이 쓰는 예비 학습 모델은 : VGG, Inception, ResNet

- VGG(변경이 쉬움)

- Inception

- ResNet

 

다른 domain에서도 잘 작동할까? 큰 카테고리(새)에서 일부 클래스를 디테일하게 들어가본다.

 

 

no.class = 뒤에 넣기

강의 다시 듣기

 

 

미세 조정 방식과 동결 방식

- 미세 조정 방식 (fine-tuning)

- learning-weight을 작게 하는 법 (학습률을 낮게 유지하여 조금씩 수정)

- 컨볼루션층과 완전 연결층의 가중치를 동시에 수정

- tuning을 많이 할 수록 새로운 데이터에 적합해진다.

 

 

- 동결방식 (feature extraction or freezing)

- 컨볼루션층의 가중치를 동결하여 수정이 일어나지 않게 제한

- dense layer을 ~~~?

- 49행 뒤에 다음행 추가

base_nodel.trainable=False

- CUB 데이터 셋에 대해 실험한 결과 미세 조정 방식이 우수함.

 

 

물체 검출을 위한 딥러닝 모델

- R-CNN

-