let us not love with words or tongue but actions and truth.
728x90

IT 159

community evolution & evaluation

Community analysis란 아래 3가지를 분석하는 것인데, 지난 community analysis 1~3에서는 community detection에 대해서 정리한 내용임 이번 contents는 community evolution & evaluation에 대해 정리하고자 함. community evolution Network Growth Patterns 1. Network Segmentation 2. Graph Densification 3. Diameter Shrinkage 1. Network segmentation 시간에 지남에 따라서 아래의 3개의 component로 쪼개지는 현상을 보임 1. Giant Component: As network connections stabilize, a gia..

IT/SNS분석 2022.06.07

community analysis 3

Group Properties: I. Balanced: Spectral clustering II. Robust: k-connected graphs III. Modular: Modularity Maximization IV. Dense: Quasi-cliques V. Hierarchical: Hierarchical clustering 2. Robust communities: k-vertext connected: k개의 node를 제외해도 분리되지 않는 subgraph를 의미함 (k-connected 그래프라고도 함) k-edge connected: k개의 edge를 제외해도 분리되지 않는 subgraph를 의미함 ** cycle인 그래프에서는 2-connected graph임 3. Modular commun..

IT/SNS분석 2022.05.31

Face recognition

얼굴 인식이 어려운 이유 - 표정변화 - occulusion(장신구) - 회전변화, 크기변화 - 조명변화 - 화장효과 - 노화 Pose-invariant 중 face와 관련된 landmark detector 3가지 방법 - AAM: Active Appearance Models (2D) - texture와 shape을 같이 씀 - ASM: Active Shape Models (2D) - Morphable Model (3D version AAM) ** 모두 PCA방법을 사용함 PCA를 활용한 face recognition (Eigenfaces) PCA는 데이터의 분산이 가장큰 방향으로 좌표축을 정렬함 scatter matrix를 최대로 하는 eigen value를 찾는 것임 (global projection..

BERT2

introduction: word representaiton Local representation vs. Distributed representation Local: one-hot encoding Distributed: continuous한 요소들의 벡터로 표현 (vectors in a continuous vector space) downstream task란? 아래그림에서 taget task를 뜻함 fine-tuning approach에서 각 task별 사용하는 방법들 예를들어 NLI(문장관계분석)을 하려면 2문장 가운데, 구분자를 넣어줌 (전체 문장 corpus에 구분자를 넣어준다는 뜻) BERT(Bidirectional Encoder Representations from Transformers) 양..

IT/자연어분석 2022.05.26

BERT1

Pre-trained Language Representations 2가지 1. Feature-based approach 2. Fine-tuning approach 1. Feature-based approach 특정 분석을 수행하기위해 architecture에서 input을 기존의 word vector(파란색)뿐만 아니라, ELMo통해 추가로 얻은 feature를 더해줘서 넣어주는 것 2. Fine-tuning approach 대규모로 language modeling을 진행후, 약간의 튜닝을 통해 원하는 분석작업에 적용하는 것 → BERT, GPT3가 있음 ELMo ELMo는 word2vec에서 불가능했던 동음이의어를 처리하기 위해 문장전체(양방향)를 가져와서 단어를 처리하자는 것임 eg) I need a..

IT/자연어분석 2022.05.26

LSTM and Sequential Labeling

General Problems Solved with LSTM - Sequence labeling POS tagging, NER - Language modeling : 다음에 들어올 단어 예측 - Sequence classification : text가 들어왔을 때, spam메일인지 아닌지 분류하는 것 ** NER은 조화평균으로 성능을 평가함 Sequence to Sequence transduction encoder / decoder framework - 기계번역등에 활용 BERT는 encoder로, GPT3와 같은것은 decoder로 만든 것임 LSTM의 활용 사례 RNN의 단점: vanishing gradient problem LSTM의 단점: 계산량이 많음 → GRU(Gated Recurren Uni..

IT/자연어분석 2022.05.25

community analysis 2

community detection algorithms 1. member 특성기반 detection (Member-based Community Detection) (아래 community analysis1참고) https://sarah0518.tistory.com/133 community analysis 1 community를 분석하는 이유? 글로벌한 관점에서 볼때 특정 행동을 파악할수있음 (개인별로는 안 나타날 수 있음) SNS상에서의 community formation: 1. 하나의 community가 생성되기위해서는 적어도 2개의 node sarah0518.tistory.com 2. 그룹속성 기반 detection 이번에는 2번째인 그룹속성 기반 detection에 대해서 알아 볼 것임 Group-..

IT/SNS분석 2022.05.24

Face Detection

Deep learning이 잘 수행하지 못하는 이미지분석영역 - keypoint검출 - 3d reconstruction 얼굴 검출이 보편적으로 쓰이는 이유 - 원거리 인식이 가능 - 저렴한 비용의 장비(카메라)에서도 가능함 - 비접촉식임 Face detection 활용 • Access control – Entrance door • Surveillance – Monitoring area(position 변화가 많아 난이도 높음) • Civil applications – Identify subjects based on driver’s license • Forensic application – Criminal/victim – identification Biometrics 영역에서 accuracy가 가장 좋은것..

728x90