sarah0518

오늘은 규제기법 중에, Data Augmentation, Dropout, 앙상블 기법에 대해서 정리해보고자 한다. 여기서 Dropout은 지난번에 잠깐 언급한 분류에 의하면 명시적 기법에 속하며, Augmentation과 앙상블은 암시적 기법에 속한다. 규제 분류를 참고하려면 아래 내용에서 확인이 가능합니다. https://sarah0518.tistory.com/107 규제 기법 - Ridge & Lasso 규제 기법에는 크게 아래와 같은 2가지 종류가 있다. 1. 명시적 규제: 가중치 감쇠나 Dropout처럼 목적함수나 신경망 구조를 직접 수정하는 방식 2. 암시적 규제: 조기멈춤, 데이터 증대, 잡음 추가, sarah0518.tistory.com 그럼 다시 다양한 규제기법들에 대해 소개를 해보자. 1..

규제 기법에는 크게 아래와 같은 2가지 종류가 있다. 1. 명시적 규제: 가중치 감쇠나 Dropout처럼 목적함수나 신경망 구조를 직접 수정하는 방식 2. 암시적 규제: 조기멈춤, 데이터 증대, 잡음 추가, 앙상블 등 이번에는 명시적 규제의 가중치 감쇠기법의 2가지인 Ridge와 Lasso에 대해 정리해보고자 한다. 아, 참고로 그전에 규제항이라는 것에 대해 간단히 살펴보자. 위 그림에서는 가중치를 업데이트 하는 공식에서 규제항을 더해줌으로써 큰 가중치값을 억제하는 효과를 가져온다. 단, 규제항은 weight에만 적용되며 절편에는 적용이 하지 않는다. 예를 들어, y=wx+b라고 하면 weight인 w에만 규제항을 추가하고, b에는 추가 하지 않는 것이다. 왜냐하면 weight는 노드의 상호작용을 표현하..