sarah0518

Rule-based approach 문제점 1. Hard to scale-up 2. Brittle(깨지기 쉬움) 3. Ambiguity Tagged Corpus 종류 Ø 품사(Part-of-Speech)가 tag된 corpus Ø Tree tagged corpus ( Penn Treebank) Ø Semantic code(feature) tagged corpus Ø Discourse structure tagged corpus Ø Parallel corpus for MT ( 한-영의 parallel corpus를 뜻함) N-gram 사용 영역 Ø Speech recognition - 음성인식 Ø OCR & Handwriting recognition Ø Machine translation - 기계번역 Ø G..

오늘은 pca, pls, tsne 등 다양한 차원축소 method중에 tsne에 대해서 정리해보려고 합니다. 한글로는 티스네라고 읽어요! pca와는 조금 다르게, tsne는 원래 데이터 형태가 곡선을 나타내는 모형일 때 더 성능이 좋아요. 보통 숫자 분류 mnist 데이터 셋에 대해 차원 축소를 고려하신다면, 0이나 8같은 숫자들은 곡선들로 이루어져 있죠. 이럴 때 tsne를 사용하면 더 성능이 좋다고 합니다. 반면에, pca는 feature들이 선형적 관계들이 있을 때 잘 분류하지요. 그래서 pca를 쓸 지, tsne를 쓸 지를 판단하시기 위해서는 가지고 있는 데이터들이 어떤 분포를 가지는지를 먼저 파악하는 것이 무엇보다 중요하지요. 또 pca는 skit-learn에서 decomposition로 불러오..