규제 기법2 - Augmentation, Dropout, 앙상블

오늘은 규제기법 중에, 

Data Augmentation, Dropout, 앙상블 기법에 대해서 정리해보고자 한다.

 

여기서 Dropout은 지난번에 잠깐 언급한 분류에 의하면

명시적 기법에 속하며,

Augmentation과 앙상블은 암시적 기법에 속한다.

 

규제 분류를 참고하려면 아래 내용에서 확인이 가능합니다.

https://sarah0518.tistory.com/107

규제 기법 - Ridge & Lasso

 

 

그럼 다시 다양한 규제기법들에 대해 소개를 해보자.

 

1. 데이터 확대 (Data Augmentation)

데이터를 확대하는 방법도 다양하게 존재한다.

 - affine transformation:

   데이터를 이동, 회전하거나 크기를 변경하는 것이다.

   단점: 수작업으로 진행해야됨

   예를 들어, 6과 9는 180도라 회전하면 안되기 때문이다.

 

 - morphing transformation

   : 데이터를 격자로 찌그러트림

 

그 외에도, 입력잡음을 섞어서 확대하는 방법등이 있다.

 

2. Dropout

학습 시, 일부의 정부를 누락시키며 학습시키는 방법이다.

효과: 앙상블과 유사한 효과를 준다. 

       왜냐하면, 무작위로 선택된 dropout을 진행하고,

       최종적으로는 그 결과를 합쳐서 보기 때문임

 

한계점: 히든노드의 사이즈가 클 수록 메모리에 부담을 준다.

 

dropout은 P-input(입력층 제거비율), P-hidden(은닉층 제거비율)

이렇게 2가지가 있다.

보통 P-input=0.2, P-hidden=0.5의 값으로 사용한다.

 

메모리와 계산효율을 위해,

은닉노드 수는 1/P-hidden이 비율만큼 늘려준다. 

 

추가로, Random dropout이라는 것도 있는데,

위의 처럼 P-input, P-hidden 비율을 고정시키는 것이 아니라,

random하게 0.5, 0.3, or 0.7 등으로 변경시켜 주는 것이다.

 

 

3. 앙상블 기법

서로 다른 여러개의 모델을 결합하여 일반화 오류를 줄이는 기법

앙상블 예시:

1. 배깅: 똑같은 신경망 모델을 k개의 서로 다른 훈련집합으로 학습시켜서 합치는 것

2. 부스팅: 잘못 예측된 샘플은 다음에 더 성능이 좋게 할 수 있도록 예측기를 만드는 것

--> 예측이 잘못된 샘플은 다음에 더 많이 뽑이게 해서 계속 학습시킴