NLP/논문리뷰18 [논문 Review] 17. RAG (Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks) 논문의 핵심 내용 한줄 요약parametric memory + Non-parametric memory로 다양한 태스크에서의 성능을 높이자! 그 유명한 RAG 논문 리뷰를 이제서야 하게 되었다..가짜연구소 컨퍼런스 갔다와서 RAG hands-on 세션을 듣고, 더욱 더 논문을 읽어봐야겠다는 생각을 하게 되었다.-> 핸즈온 세션에 대한 리뷰와 추가 조사는 다음 포스팅에서! https://arxiv.org/abs/2005.11401 Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLarge pre-trained language models have been shown to store factual knowledge in their paramet.. 2024. 6. 27. [논문 Review] 16. Dense Passage Retrieval for Open-domain Question Answering 논문의 핵심 내용 한줄 요약Dense passage를 통해 ODQA에서의 성능을 향상시키자! AbstractOpen-domain question answering (ODQA) 태스크는 candidate context 선택을 위해 passage retrieval에 의존하고, 이전에는 retrieval 작업 수행을 위해 TF-IDF나 BM25와 같은 sparse vector space model이 주로 사용되었다.DPR에서는 이중 Encoder 프레임워크를 통해 적은 양의 question, passages에서도 효과적인 dense representation을 도출해낼 수 있음을 보였다.해당 방법론은 BM25를 크게 능가했고, 여러 ODQA 벤치마크에서 좋은 성능을 보였다. 간략한 배경 지식ODQA : 엄청나.. 2024. 6. 13. [논문 Review] 15. Prometheus 2 : An Open Source Language Model Specialized in Evaluating Other Language Models LLM Evaluation에 특화된 Open-source LLM 개발본 논문의 기본 패러다임과 사용 데이터셋은 대부분 선행 논문을 따르므로, 논문에 대한 이전 포스팅을 읽고 오시는 것을 강력히 권장 드립니다.https://ll2ll.tistory.com/77 [논문 Review] 14. Prometheus: Inducing Fine-grained Evaluation Capability in Language ModelsGPT-4와 맞먹는 강력한 성능의 오픈소스 EvaluatorAbstract최근에는 long-form response를 평가하기 위한 Evaluator로 GPT-4와 같은 강력한 LLM을 사용하는 것이 사실상 표준이 되었다. 그러나 GPT-4는 대규모 스케ll2ll.tistory.com A.. 2024. 5. 30. [논문 Review] 14. Prometheus: Inducing Fine-grained Evaluation Capability in Language Models GPT-4와 맞먹는 강력한 성능의 오픈소스 EvaluatorAbstract최근에는 long-form response를 평가하기 위한 Evaluator로 GPT-4와 같은 강력한 LLM을 사용하는 것이 사실상 표준이 되었다. 그러나 GPT-4는 대규모 스케일의 평가를 진행하거나, 다양한 사용자 정의 기준 (ex. child-readability) 을 고려하려면 부적절한 선택지일 수 있다.본 논문에서는 reference answer, score rubric 이 제공될 경우 GPT-4의 evaluate 성능과 동등한 수준을 보이는 open-source LLM Prometheus를 소개한다.먼저 아래의 구성 요소들로 이루어진 Feedback Collection dataset을 구축한다. fine-grained .. 2024. 5. 16. [논문 Review] 13. SimCSE : Simple Contrastive Learning of Sentence Embeddings 논문의 핵심 내용 한줄 요약CV에서 쓰이던 Contrastive Learning을 NLP 분야에도 적용해보자!Abstract비지도 학습 : 입력 문장을 가지고 표준 dropout만 사용하는 방식. 여기에서 dropout은 일종의 data augmentation으로 작용한다.지도 학습 : NLI 데이터셋을 사용해 "entailment" 를 positive pair로, "contradiction" 을 hard negative pair로 사용하는 지도학습 접근 방식을 제안한다.STS task에서 BERT-base 모델을 기준으로 SimCSE를 평가한 결과, 76.3% (비지도) / 81.6% (지도) spearman corr를 달성해서 이전 SOTA보다 크게 향상되었다. 1. IntroductionUnsup.. 2024. 5. 2. [논문 Review] 12. LLM2Vec : Large language models are secretly powerful text encoders 논문의 핵심 내용 한줄 요약LLM을 text encoder로 이용해보자Abstract이 논문에서는 decoder-only LLM을 강력한 성능의 text encoder로 변환하는 간단한 비지도 접근 방식 LLM2Vec을 소개한다. 1.3B ~ 7B 크기의 인기 있는 LLM 3개 (LLaMA 1.3B, LLaMA 7B, Mistral 7B) 에 공개된 데이터만 사용하여 해당 학습 방식을 적용해보았고,그 결과 대규모 텍스트 임베딩 벤치마크 (MTEB) 에서 비지도 학습 방식 중 최고 성능을 달성했다. 또한 지도 대조학습과 결합한 경우, 공개된 데이터로만 학습한 모델 중에서는 최고 성능을 달성했다. 2024.04.18 기준 확인 결과더보기 LLM2Vec-Mistral-7B-Instruct-v2-mntp-su.. 2024. 4. 18. 이전 1 2 3 다음
