분류 전체보기34 [논문리뷰] LoRA (Low rank adaptation of Large language models) Lora 논문 링크 https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org ChatGPT의 열풍에 더불어 LLM의 인기가 많은데, fine .. 2023. 11. 16. transfer learning (upstream, downstream) transfer learning (전이 학습) = 새로운 task를 수행하는 모델을 만들 때, 기존에 학습했던 지식을 재사용하는 것 => transfer learning 적용 시 기존 LLM보다 학습 속도가 빨라지고, 새로운 task를 더 잘 수행할 수 있음 e.g. BERT (Bidirectional Encoder Representations from Transformers) , GPT (Generative Pre-trained Transformer) => transfer learning 적용 이전의 기존 모델들은 task를 처음부터 학습했었다!! task1 = upstream task (학습 데이터 말뭉치를 통해 문맥을 이해하는 task) : pretrain = 문맥을 모델에 내재화 e.g.1 다음 .. 2023. 11. 15. dreamhack : rev-basic-5 문제 이 문제는 사용자에게 문자열 입력을 받아 정해진 방법으로 입력값을 검증하여 correct 또는 wrong을 출력하는 프로그램이 주어집니다. 해당 바이너리를 분석하여 correct를 출력하는 입력값을 알아내세요. 풀이과정 분석 대상 함수인 7FF ~ 1000 으로 들어간다. 알아내야 하는 값 (= 내가 입력해야 하는 값 = 플래그)을 input이라는 문자열이라고 하고, 버퍼에 저장된 값을 buffer라고 하면 결국 코드들의 큰 흐름을 봤을 때 input[i] + input[i+1] == buffer[i]인 input값을 찾아내야 한다. 이때 i는 0x18, 즉 24 전까지 반복된다. 0x00 input[0] = buffer[0] - buffer[1] + ... - buffer[23] => input[.. 2023. 11. 5. 이전 1 ··· 3 4 5 6 7 8 9 ··· 12 다음
