NLP/논문리뷰18 [논문 Review] 11. G-EVAL : NLG Evaluation using GPT-4 with Better Human Alignmen GPT-4를 사용해서 NLG system을 정량적 평가해보자!AbstractNLG는 정량적으로 측정하기 어렵다. 특히 창의성이나 다양성이 요구되는 작업의 경우 BLEU, ROUGE와 같은 기존의 지표는 사람의 판단과 상대적으로 상관관계가 낮은 것으로 나타났다.이번 연구에서는 CoT와 form-filling paradigm이 적용된 LLM (=GPT-4) 을 사용해 NLG 태스크를 평가하는 프레임워크 G-EVAL을 소개하며, 3가지 벤치마크를 통해서 인간 평가와의 유사도를 측정해본다. 1. IntroductionNLG에 전통적으로 쓰이던 지표들인 BLEU, ROUGE, METEOR는 Evaluation에 널리 사용되어 왔지만 사람의 평가와는 낮은 상관계수를 보였고, 이는 특히 open-ended gener.. 2024. 2. 28. [논문 Review] 10. PeaCoK : Persona Commonsense Knowledge for Consistent and Engaging Narratives 페르소나의 특징을 유형화하고, 그 페르소나가 가질 수 있는 특징을 Knowledge Graph 형태로 연결하자https://aclanthology.org/2023.acl-long.362/ PeaCoK: Persona Commonsense Knowledge for Consistent and Engaging NarrativesSilin Gao, Beatriz Borges, Soyoung Oh, Deniz Bayazit, Saya Kanno, Hiromi Wakaki, Yuki Mitsufuji, Antoine Bosselut. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Lon.. 2024. 2. 14. [논문 Review] 09. FiD : Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering 논문의 핵심 내용 한줄 요약 디코더에서 여러 문서를 효율적으로 결합해서 생성 모델의 성능을 향상시키자! GitHub - facebookresearch/FiD: Fusion-in-Decoder Fusion-in-Decoder. Contribute to facebookresearch/FiD development by creating an account on GitHub. github.com Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering Generative models for open domain question answering have proven to be competitive, without r.. 2024. 1. 24. [논문 Review] 08. T5 : Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 논문의 핵심 내용 한줄 요약 모든 NLP task를 text to text 형식으로 바꿔서 해결해보자! Abstract 풍부한 데이터를 통해 모델을 Pre training하고, 다운스트림 작업에서 Fine tuning을 진행하는 전이학습은 NLP에서 강력한 기술로 쓰여왔다. 이번 논문에서는 모든 텍스트 기반 언어 문제를 Text to Text 형식으로 변환하는 프레임워크를 도입할 것이다. 새로운 프레임워크 (이하 T5) 에서 탐색을 통해 얻은 인사이트와 새로운 "Colossal Clean Crawled Corpus (이하 "C4") 를 결합해서 다양한 벤치마크에서 SOTA를 달성했다. 1. Introduction 모델이 NLP task를 수행하기 위해서는 다운스트림 태스크에 적용 가능한 방식으로 텍스트를.. 2024. 1. 3. [논문 Review] 07. LLAMA : Open and Efficient Foundation Language Models 공개 데이터셋만으로도 SOTA 모델을 만들 수 있다! Abstract 7B - 65B개의 파라미터로 구성된 모델 LLaMA는 수조 개의 토큰으로 모델을 훈련하고, 공개적으로 이용 가능한 데이터셋만 사용해서 SOTA 모델을 훈련할 수 있다는 것을 보여준다. 특히 LLaMA-13B는 대부분의 벤치마크에서 GPT-3(175B)보다 성능이 뛰어나며 LLaMA-65B는 최고의 모델인 Chinchilla-70B, PaLM-540B와도 비견해볼만하다. 모델은 모든 연구 커뮤니티에 공개되었다. 1. Introduction 대규모 텍스트 코퍼스로 훈련된 LLM은 instruction이나 few shot으로도 새로운 작업을 구성할 수 있는 능력을 보여주었다. 이러한 few-shot ability는 모델을 충분한 크기로 확.. 2023. 12. 19. [논문 Review] 06. REALM : Retrieval-Augmented Language Model Pre-Training retriever - encoder 모델 구조를 통해 QA task에서의 성능을 높이자! https://arxiv.org/abs/2002.08909 REALM: Retrieval-Augmented Language Model Pre-Training Language model pre-training has been shown to capture a surprising amount of world knowledge, crucial for NLP tasks such as question answering. However, this knowledge is stored implicitly in the parameters of a neural network, requiring ever-larger networ arx.. 2023. 12. 13. 이전 1 2 3 다음
