Pre-trained Language Representations 2가지 1. Feature-based approach 2. Fine-tuning approach 1. Feature-based approach 특정 분석을 수행하기위해 architecture에서 input을 기존의 word vector(파란색)뿐만 아니라, ELMo통해 추가로 얻은 feature를 더해줘서 넣어주는 것 2. Fine-tuning approach 대규모로 language modeling을 진행후, 약간의 튜닝을 통해 원하는 분석작업에 적용하는 것 → BERT, GPT3가 있음 ELMo ELMo는 word2vec에서 불가능했던 동음이의어를 처리하기 위해 문장전체(양방향)를 가져와서 단어를 처리하자는 것임 eg) I need a..
