커널 함수를 사용 함 - mapping to high dimensional space
커널 적용이 가능한 이유는 ‘특징 벡터가 내적 형태로만’ 나타나기 때문
커널함수의 특징
mapping 한 뒤 내적을 계산해도, 내적을 계산한뒤 mapping을 해도
두 결과는 같음
커널트릭이란?
어떤 수식이 벡터 내적을 포함할 때, 그 내적을 커널 함수로 대치하여 계산하는기법
앞장의 선형SVM에서 계산수식은 모두 벡터의 내적으로만 나타남
실제 계산은 L(낮은차원)에서 이루어지지만 분류는 선형 분류에 유리한 H(높은차원)에서 수행
* 참고로 차원을 늘리게되면 noise도 같이 따라와서 차원의 저주가 발생 함
3가지 대표 커널들
커널 함수에 대응하는 매핑 함수는 몰라도 된다. 단지 존재한다는 사실만알면 된다.
SVM학습 - 조건부 최적화 문제
** 참고로 비선형 SVM은 선형 SVM처럼 w를 미리 구해서 b를 얻는 것이 불가
(즉, w를 미리 구할 수 없음)
M분류 SVM으로의 확장
- 이진분류가 아닌 1: M-1분류
즉, 특정 class로 분류될 확률이 제일 높은쪽으로 분류
1. 1대1 방법
2. 1대 M-1방법
SVM vs. Deep learning
SVM 특성
사용자 설정 매개 변수가 적다.
- 커널 종류와 커널에 따른 매개 변수
- 가중치 C역할이 필요
최적 커널을 자동 설정하는 방법 없음
- 실험에 의한 휴리스틱한 선택
일반화 능력 뛰어남
구현이 까다로움