직접 GPT2의 beam search decoding을 시각화해볼 수 있는 툴이 있다. 신기해~
이런 식으로 토큰, 확률이 표시되며 상단에서 빔 개수, 페널티 등이 설정 가능하다.
from transformers import AutoModelForCausalLM, AutoTokenizer
prompt = "It is astonishing how one can"
checkpoint = "openai-community/gpt2-medium"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
inputs = tokenizer(prompt, return_tensors="pt")
model = AutoModelForCausalLM.from_pretrained(checkpoint)
outputs = model.generate(**inputs, num_beams=5, max_new_tokens=50)
tokenizer.batch_decode(outputs, skip_special_tokens=True)
beam-search multinomial sampling
num_beams>1, do_sample=True
beam search와 multinomial sampling을 결합
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, set_seed
set_seed(0) # For reproducibility
prompt = "translate English to German: The house is wonderful."
checkpoint = "google-t5/t5-small"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
inputs = tokenizer(prompt, return_tensors="pt")
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)
outputs = model.generate(**inputs, num_beams=5, do_sample=True)
tokenizer.decode(outputs[0], skip_special_tokens=True)
기존의 beam search는 여러 시퀀스를 병렬로 탐색 가능하지만, 생성된 시퀀스가 매우 유사하며 다양성이 부족함
DBS는 probability 뿐만 아니라 다양성을 고려하는 항을 포함
beam을 G개의 그룹으로 나눈 다음, 각 그룹에 대해 beam search를 수행하되 이전 그룹과의 불일치를 기반으로 다양성 페널티를 포함하도록 로그 확률을 수정
number of groups (G) : 나눌 그룹 수 (= num_beam_groups)
diversity strength (\(\lambda\)) : 다양성을 얼마나 강화할 지 (= diversity_penalty) -> 높을수록 더 다양한 후보군을 생성하지만, 지나치게 높을 경우 모델 확률을 압도해 문법적으로 부정확해짐
choice of diversity function (\(\delta\)) : 어떤 식으로 다양성을 부여할 지
해밍 다양성 (Hamming Diversity): 이 형태는 이전 그룹에서 선택된 토큰의 선택을 이전에 선택된 횟수에 비례하여 페널티를 부과합니다.
누적 다양성 (Cumulative Diversity): 두 시퀀스가 충분히 다르게 분기된 후에는 동일한 단어를 동시에 사용할 수 없도록 제한하는 것이 불필요하고 해로울 수 있습니다. 다양성 페널티의 '백오프'를 인코딩하기 위해, 우리는 각 시간 단계에서 사용된 동일한 단어 수를 누적 다양성으로 도입합니다. 특히, δ(y[t], y^g_b,[t]) = exp{−( ∑_τ∈t ∑_b∈B′ I[y^h_b,τ ≠ y^g_b,τ])/Γ} 여기서 Γ는 누적 다양성 항목의 강도를 제어하는 온도 매개변수이고, I[·]는 지시자 함수입니다.
n-그램 다양성 (n-gram Diversity): 현재 그룹은 이전 그룹과 동일한 n-그램을 생성하는 경우 페널티를 부과합니다. 이는 후보 시퀀스에서 각 n-그램이 이전 그룹에서 발생한 횟수에 비례합니다. 해밍 다양성과 달리 n-그램은 시퀀스의 높은 차수 구조를 포착합니다.
신경 임베딩 다양성 (Neural-embedding Diversity): 앞서 논의한 모든 다양성 함수는 정확한 일치를 수행하지만, Word2Vec과 같은 신경 임베딩은 동의어와 같은 의미론적으로 유사한 단어를 페널티 부과할 수 있습니다. 이는 해밍 또는 n-그램 메트릭의 소프트 버전을 사용하여 수행됩니다. n-그램 다양성과 함께 사용할 때 n-그램의 표현은 구성 단어의 벡터를 합산하여 얻습니다.
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
checkpoint = "google/pegasus-xsum"
prompt = (
"The Permaculture Design Principles are a set of universal design principles "
"that can be applied to any location, climate and culture, and they allow us to design "
"the most efficient and sustainable human habitation and food production systems. "
"Permaculture is a design system that encompasses a wide variety of disciplines, such "
"as ecology, landscape design, environmental science and energy conservation, and the "
"Permaculture design principles are drawn from these various disciplines. Each individual "
"design principle itself embodies a complete conceptual framework based on sound "
"scientific principles. When we bring all these separate principles together, we can "
"create a design system that both looks at whole systems, the parts that these systems "
"consist of, and how those parts interact with each other to create a complex, dynamic, "
"living system. Each design principle serves as a tool that allows us to integrate all "
"the separate parts of a design, referred to as elements, into a functional, synergistic, "
"whole system, where the elements harmoniously interact and work together in the most "
"efficient way possible."
)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
inputs = tokenizer(prompt, return_tensors="pt")
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)
outputs = model.generate(**inputs, num_beams=5, num_beam_groups=5, max_new_tokens=30, diversity_penalty=1.0)
tokenizer.decode(outputs[0], skip_special_tokens=True)
beam search와 같은 maximization-based methods는 바람직하지 못한 반복을 포함하는 경향이 있다. ex. 나는 학교에 갔는데 갔는데 갔는데...
논문에서는 이러한 현상이 anisotropic distribution of token representations 때문이라고 한다. -> 사전 학습된 언어 모델들이 뱉는 token representation이 의미와 관계 없이 전반적으로 모두 유사하기 때문 -> 토큰 유사도가 높을 경우, 모델이 매 스텝마다 반복적으로 같은 토큰을 생성할 수 있어서 바람직하지 않음 -> token similarity matrix의 sparseness를 보존하자!
SimCTG (a Simple Contrastive framework for neural Text Generation) loss function에 contrastive learning 항을 추가해, 같은 토큰과의 유사도는 높게 / 다른 토큰과의 유사성을 낮추도록 학습 (토큰 유사도 = 코사인 유사도)
v : k번째 스텝에서의 후보 토큰 집합
model confidence : 이전 context가 주어졌을 때, 다음에 나올 토큰 확률
degeneration penalty : 이전 step까지 나온 토큰의 유사도 중 최대값 -> 이전에 나온 토큰과 유사한 토큰이 나올 경우 패널티를 부여
