sarah0518

nominal data(명칭)는 거리측정이 불가능함 distance metric - 유클리디언 거리(L2-distance) - 맨하탄 거리(L1-distance) - Hamming 거리(이진 벡터에 적용 가능: 서로다른 비트의 개수) - 코사인 유사도(문서 검색 응용에서 주로 사용) 작을 수록 similarity가 커지는 것임 - 이진 특징 벡터의 유사도 점과 군집사이의 거리측정 1 점과 군집사이의 거리측정 2 아래 내용 시험! 두 군집 사이의 거리 동적거리 측정 방법 샘플마다 특징 벡터의 크기가 다른 경우  예) 온라인 필기 인식, DNA 열  (6.3 절의) 교정 거리 활용 = Levenshtein edit distance 군집화 알고리즘  계층 군집화: 군집 결과를 계층을 나타내는 덴드로그램으..

부류내 분산은 작고 부류간 분산은 크게 해줄수록 좋은 특징 벡터 즉, Sb/Sw 값이 큰게 좋은 것임 분별력을 측정하는 3가지 방법 1. 다이버전스 2. 훈련 샘플의 거리 3. 분류기 성능 KL 다이버전스 분별력이 큰 경우는 (b) 경우임 - 두 분포가 완전히 겹치면 위의 값을 1을 가짐 두 분포가 같다면(유사하다면) P(k)=Q(k)이므로 sum(P(k)) = 1이 됨 - KL 다이버전스는 거리개념과 유사하므로, 값이 클수록 분류가 잘 됨 훈련 샘플의 거리 구하는 방법 [훈련 샘플의 거리 구하는 예시] 분류기로서의 SVM 장점: 분류기에 딱 맞는 특징벡터를 찾아낼 수 있음 단점: 분류기 훈련시 계산시간이 많이 걸림 특징 선택 시, 고려해야할 것 1. 중복되는 특징벡터 사용시 단점 중복이 되므로 성능향상..

주성분 분석 principal component analysis Karhunen-Loeve (KL) 변환 또는 Hotelling 변환이라고도 부름 정보 손실을 최소화하는 조건에서 차원 축소 저차원으로 투영한다는 것의 의미 저차원으로 투영한 뒤에, 원래 점들을 구별할 수 없으면 좋은 차원축소X (c)에서 가장 정보의 손실이 최소화되는 방향으로 저차원으로 축소한 것임 (c)가 변환된 공간에서의 분산이 가장 큼 정보손실 원래 훈련 집합이 가진 정보란 무엇일까?  샘플들 간의 거리 or 그들 간의 상대적인 위치 등  PCA는 샘플들이 원래 공간에 ‘퍼져있는 정도를’ 변환된 공간에서 얼마나 잘 유지하느냐를 척도로 삼음 → 이 척도는 변환된 공간에서 샘플들의 분산으로 측정함 → 목표: 변환된 샘플들의 분산을 최..

특징 생성의 절차 영역의 표현 모양에 관련한 특징 위의 특징추출 방법을 사용하여 아래와 같이 특정 모양의 특징을 추출할 수 있음 투영 특징 프로파일 특징 상/우/하/좌 프로파일로 표현할 수 있으며, 이웃한 세개의 평균을 구함으로써 smoothing 효과를 나타낼 수 있음 파형 신호에서 특징 추출 파형에서 어떻게 특징을 추출할 것인가?  파형은 기저 함수의 선형 결합으로 표현 가능  선형 결합의 계수를 특징으로 취함 이산 퓨리에 변환 퓨리에 변환 f(u)는 시간 공간을 주파수 공간으로 바꾸어 줌 위의 수식에 0~3까지의 값을 넣으면 아래와 같이 나타남 퓨리에 특징: 파워스펙트럼의 값을 특징으로 취함 빨간색은 실수부, 파란색은 허수부 파워스펙트럼에 따라 아래와 같은 4차원 특징 벡터를 얻게 됨 2차원 퓨..

시간성 특성이 없는 데이터 축을 바꿔도 문제의 본질이 바뀌지 않음 하지만 2를 그리는 순서를 바꾸면 2를 알아볼 수가 없음 1. 마코프 모델 (Markov Model) 시간 t에서의 관측은 가장 최근 r개 관측에만 의존한다는 가정 하의 확률 추론 2차 이상에서는 추정할 매개 변수가 많아 현실적인 문제 발생 주로 1차 마코프 체인만 사용 상태전이: state transition probability matrix 1. 상태전이 확률 행렬 2. 상태전이도 상태전이확률행렬은 아래와 같이 표현됨 1차 MM에서 관측벡터 O의 확률 구하기 예시1) 예시2) 0차에서의 MM 2차에서의 MM MM의 단점 1. 보다 복잡한 현상이나 과정에 대한 모델링 능력의 한계 해결책: 모델의 용량을 키우기 위해, 상태를 감추다. 2...

질적 분류 예시 분류기 모식도 1. 결정트리 결정트리에서의 4가지 고려사항 이진트리구현의 2가지 방법 1. 배열로 표현 2. linked list 결정트리 노드의 특성 1. left node와 right node를 합치면 부모노드가 됨 2. left node와 right node의 조건에서 중복되는 건 없음 노드 분기를 위한 질문 개수 d 개의 특징이 있고 그들이 평균 n 개의 값을 가진다면 dn 개의 후보 질문 2번과 같이 imbalace하게 분기하는 질문을 만들게 되면 트리의 깊이가 깊어져 비효율적임 3가지 불순도 측정기준 불순도가 감소하는 방향으로 질문을 구성해야함 엔트로피가 최대가 되는 방향으로 질문을 구성해야함 (즉, 엔트로피가 최대가 되고, 거기에 음수값이 붙으므로) 불순도 계산 예시 풀어보기..

커널 함수를 사용 함 - mapping to high dimensional space 커널 적용이 가능한 이유는 ‘특징 벡터가 내적 형태로만’ 나타나기 때문 커널함수의 특징 mapping 한 뒤 내적을 계산해도, 내적을 계산한뒤 mapping을 해도 두 결과는 같음 커널트릭이란? 어떤 수식이 벡터 내적을 포함할 때, 그 내적을 커널 함수로 대치하여 계산하는기법 앞장의 선형SVM에서 계산수식은 모두 벡터의 내적으로만 나타남 실제 계산은 L(낮은차원)에서 이루어지지만 분류는 선형 분류에 유리한 H(높은차원)에서 수행 * 참고로 차원을 늘리게되면 noise도 같이 따라와서 차원의 저주가 발생 함 3가지 대표 커널들  커널 함수에 대응하는 매핑 함수는 몰라도 된다. 단지 존재한다는 사실만알면 된다. SVM학습..

선형 SVM 분류기의 일반화 능력  ②보다 ③이 여백이 더 크다.  즉 ③이 ②보다 일반화 능력이 뛰어나다.  신경망은 초기값 ①에서 시작하여 ②를 찾 았다면 거기서 멈춘다. 왜? → 여백을 고려하지 않기 때문임  SVM은 ③을 찾는다. 초평면의 수학적 특성 h = 점과 선의 거리를 뜻함 (아래 그림 참고) d(x) = 2(x1) + (x2) - 4 =0일 때, 여백이란? 여백은 직선(1)에서 가장 가까운 샘플까지 거리의 두 배로 정의함 (2s)  가장 가까운 샘플을 서포트 벡터(S.V)라 부름 여백 공식 Q. |d(x)|가 왜 1이 되는 가? A. 정규화 시켜서 거리를 1로 만들기 때문임 1. 선형분리 가능한 상황 여백 최대화(선형분리 가능한 상황) 아래와 같이 더 간단히 표현할 수 있음 위의..