규제 기법에는 크게 아래와 같은 2가지 종류가 있다. 1. 명시적 규제: 가중치 감쇠나 Dropout처럼 목적함수나 신경망 구조를 직접 수정하는 방식 2. 암시적 규제: 조기멈춤, 데이터 증대, 잡음 추가, 앙상블 등 이번에는 명시적 규제의 가중치 감쇠기법의 2가지인 Ridge와 Lasso에 대해 정리해보고자 한다. 아, 참고로 그전에 규제항이라는 것에 대해 간단히 살펴보자. 위 그림에서는 가중치를 업데이트 하는 공식에서 규제항을 더해줌으로써 큰 가중치값을 억제하는 효과를 가져온다. 단, 규제항은 weight에만 적용되며 절편에는 적용이 하지 않는다. 예를 들어, y=wx+b라고 하면 weight인 w에만 규제항을 추가하고, b에는 추가 하지 않는 것이다. 왜냐하면 weight는 노드의 상호작용을 표현하..
