sarah0518

직접적으로 policy에 대해 critic하여 value-network의 가치를 상승시키는 목적으로 policy-based와 value-based를 합친것임 – The actor network • A policy network • Finds an optimal policy – The critic network • A value network (estimates state value) • Evaluates the policy produced by the actor network : 어떤 state의 가치를 판단해줌 Policy gradient에서의 value network와의 비교 - Policy gradient: value network의 목적은 state value를 사용하여 policy gradien..

질적 분류 예시 분류기 모식도 1. 결정트리 결정트리에서의 4가지 고려사항 이진트리구현의 2가지 방법 1. 배열로 표현 2. linked list 결정트리 노드의 특성 1. left node와 right node를 합치면 부모노드가 됨 2. left node와 right node의 조건에서 중복되는 건 없음 노드 분기를 위한 질문 개수 d 개의 특징이 있고 그들이 평균 n 개의 값을 가진다면 dn 개의 후보 질문 2번과 같이 imbalace하게 분기하는 질문을 만들게 되면 트리의 깊이가 깊어져 비효율적임 3가지 불순도 측정기준 불순도가 감소하는 방향으로 질문을 구성해야함 엔트로피가 최대가 되는 방향으로 질문을 구성해야함 (즉, 엔트로피가 최대가 되고, 거기에 음수값이 붙으므로) 불순도 계산 예시 풀어보기..

커널 함수를 사용 함 - mapping to high dimensional space 커널 적용이 가능한 이유는 ‘특징 벡터가 내적 형태로만’ 나타나기 때문 커널함수의 특징 mapping 한 뒤 내적을 계산해도, 내적을 계산한뒤 mapping을 해도 두 결과는 같음 커널트릭이란? 어떤 수식이 벡터 내적을 포함할 때, 그 내적을 커널 함수로 대치하여 계산하는기법 앞장의 선형SVM에서 계산수식은 모두 벡터의 내적으로만 나타남 실제 계산은 L(낮은차원)에서 이루어지지만 분류는 선형 분류에 유리한 H(높은차원)에서 수행 * 참고로 차원을 늘리게되면 noise도 같이 따라와서 차원의 저주가 발생 함 3가지 대표 커널들  커널 함수에 대응하는 매핑 함수는 몰라도 된다. 단지 존재한다는 사실만알면 된다. SVM학습..

RNN 정의 q를 nearest neighbor로 하는 것을 찾는 것임 (p2, p3) eg) 통신회사에서 요금제를 개발했을 때, 누구에게 요금제를 광고하는 것이 효과적일까? 해당 요금제와 가장 유사한(가까운) 요금제를 쓰는 사람에게 홍보하는 것이 좋음 RNN(p2)={ } 공란임 (참고로, RNN(p3)={q}, NN(q) = p3 ) 따라서, RNN은 대칭 관계가 아님 RNN 알고리즘 개요 1. [KM00] KM method : pre-computing 1. 모든 점p1~4에 대해 NN을 찾고 2. 그 거리를 반지름으로 하는 원(vicinity circle)을 그림 3. RNN tree를 build함(MBR) 4. q가 포함된 원의 중심이 q의 RNN임 = p3, p4 * 미리 모든 P에 대한 NN을..

Road Network layer는 graph로 표현됨 * 휘어진 도로는 구간을 짧게 쪼개 직선거리로 표현함 아래 회색점이 곡선 구간을 작게 쪼갠점임 네트워크상의 두 노드의 거리 표현 방법 직접 연결 안된 두 노드의 거리는 두 노드의 최단거리로 표현한다는 의미임 네트워크 distance의 속성1 네트워크 distance의 속성2 네트워크 distance는 Euclidean distance보다 항상 크거나 같다. Euclidean distance: 최단 직선거리임 실제 도로와 그것을 네트워크 modeling으로 표현한 것 Nearest Neighbor Queries in Network DB 1. IER(Incremental Euclidean Restrictions) Algorithm : 회색영역을 점점 줄..

1. Value-based RL 정의: 높은 Q값에 근거하여 value를 선택하는 것 단점: continuous-action space한 환경에서는 바로 적용되기 어려움 eg1) 스피드를 150이상으로 선택하겠다. eg2) 각도를 10도 변경하겠다. 해결책: discretization (별로 효과적이지 않음) 2. Policy-based RL: policy gradient DQN input: state output: Q-value Policy gradient input: state output: action을 취할 probability → stochatic policy와 유사함 (policy-based method에서는 stochatic policy를 사용) → ㅠ(a|s)로 표현 • If we get ..

선형 SVM 분류기의 일반화 능력  ②보다 ③이 여백이 더 크다.  즉 ③이 ②보다 일반화 능력이 뛰어나다.  신경망은 초기값 ①에서 시작하여 ②를 찾 았다면 거기서 멈춘다. 왜? → 여백을 고려하지 않기 때문임  SVM은 ③을 찾는다. 초평면의 수학적 특성 h = 점과 선의 거리를 뜻함 (아래 그림 참고) d(x) = 2(x1) + (x2) - 4 =0일 때, 여백이란? 여백은 직선(1)에서 가장 가까운 샘플까지 거리의 두 배로 정의함 (2s)  가장 가까운 샘플을 서포트 벡터(S.V)라 부름 여백 공식 Q. |d(x)|가 왜 1이 되는 가? A. 정규화 시켜서 거리를 1로 만들기 때문임 1. 선형분리 가능한 상황 여백 최대화(선형분리 가능한 상황) 아래와 같이 더 간단히 표현할 수 있음 위의..

Spatial join 각 MBR이 겹치는 것을 찾아서 join을 하는 것임 위의 초록7개와 빨강 7개의 7*7 pair에 대해서 겹치는 것을 찾으면 됨 Join1 2개의 tree-depth가 같을 때, 사용가능함 위와 같은 logic을 따름 즉, 겹치는 E와 F가 leaf node이면 결과에 추가하고, 겹치는 E와 F가 internal node이면 다시 loop를 돌림 → 단, 연산시간이 많이 걸림 (7*7=49 pair) 개선1. Restricting the search space (Join2) 개선2. Spatial sorting and plane sweep Join2: Restricting the search space 각 pair를 다 계산하는 것을 최적화시킴 → root MBR (R, S)에서..