transferlearning1 transfer learning (upstream, downstream) transfer learning (전이 학습) = 새로운 task를 수행하는 모델을 만들 때, 기존에 학습했던 지식을 재사용하는 것 => transfer learning 적용 시 기존 LLM보다 학습 속도가 빨라지고, 새로운 task를 더 잘 수행할 수 있음 e.g. BERT (Bidirectional Encoder Representations from Transformers) , GPT (Generative Pre-trained Transformer) => transfer learning 적용 이전의 기존 모델들은 task를 처음부터 학습했었다!! task1 = upstream task (학습 데이터 말뭉치를 통해 문맥을 이해하는 task) : pretrain = 문맥을 모델에 내재화 e.g.1 다음 .. 2023. 11. 15. 이전 1 다음