분류 전체보기34 [논문 리뷰] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing 0. Abstract NLP에서의 새로운 패러다임인 “prompt based learning” input x에 대한 output y를 P(y|x)로 출력하는 전통적인 supervised learning과 달리 prompt-based learning은 text의 probability를 직접적으로 출력하는 LM에 기반한다. LM의 이용을 위해 input x는 template를 통해 채워지지 않은 slot이 존재하는 문자열 prompt인 x’로 바뀌고, LM이 확률적으로 채워지지 않은 정보를 채워서 마지막 문자열인 x^을 얻는다. 이후 y를 출력 가능하다. 해당 프레임워크는 여러 이유로 매력적이다 . 먼저 LM이 대량의 raw text를 기반으로 pre-trained 될 수 있도록 하고, prompting f.. 2024. 2. 24. [논문 리뷰] Improving Language Understandingbly Generative Pre-Training 0. Abstract 자연어 이해는 텍스트 이해, 질문에 대한 답변, 의미 유사성 평가, 문서 분류 등 다양한 task에서 이용 unlabel된 text corpora는 충분하지만, label된 data는 적어서 task에 맞춰 훈련된 모델들이 적합하게 쓰기 어려움 => 다양한 unlabel된 text corpus에 대한 언어모델을 generative pre-training함으로써 각 task에 대한 discriminative fine-tuning을 통해 이 문제를 해결할 수 있을 것 기존 접근 방식과의 차이점 task를 고려해 input을 변형해서 fine-tuning 진행해 효과적 전이학습 가능 => 대신 model architecture에는 최소한의 변화만을 줌 **결과적으로 사전 지식이 없는 우리.. 2024. 2. 14. [논문 리뷰 : 대본] Sequence to Sequence Learning with Neural Networks 논문 발표 시 가이드라인으로 작성했던 대본이 이해에 도움이 더 될 듯해 공유티비 안녕하세요, 오늘 제가 발표할 논문은 sequence 2 sequence with neural learning 입니다. 논문을 소개하기 앞서, 논문의 내용을 간단히 요약하고 넘어가겠습니다. 기존의 DNN은 레이블이 지정된 큰 훈련 세트에서는 잘 작동이 되지만, 문장에 문장을 대응할 수가 없다는 문제점을 가지고 있었습니다. => 따라서 논문에서는 LSTM을 도입해 입력 시퀀스를 고정된 길이의 벡터에 매핑하고, 다른 LSTM을 이용해 해당 벡터에서 출력 시퀀스를 decode하는 방법을 제시합니다. WMT'14 데이터셋을 이용해 영어를 프랑스어로 번역하는 task를 예시로 들었으며, LSTM을 이용할 때의 BLEU score는 3.. 2024. 2. 13. 이전 1 2 3 4 ··· 12 다음
