Strategia de decodare dictează modul în care sunt selectați tokenii din distribuția de probabilitate emisă de model la fiecare pas. Greedy alege mereu cel mai probabil token, în timp ce Beam Search explorează un arbore de căutare cu $N$ ipoteze paralele.
# Comparație strategii în Hugging Face generate():
# 1. Greedy Search (rapid, deterministic, dar poate deveni repetitiv):
model.generate(inputs, do_sample=False)
# 2. Beam Search (excelent pentru traduceri automate sau rezumate exacte):
model.generate(inputs, num_beams=5, early_stopping=True)
# 3. Contrastive Search (echilibrează probabilitatea cu penalizarea similarității contextuale):
model.generate(inputs, penalty_alpha=0.6, top_k=4)
# 4. Stochastic Sampling (Top-p + Top-k + Temperatura - ideal pentru creativitate și chat)
model.generate(inputs, do_sample=True, temperature=0.7, top_p=0.9)De ce Beam Search e rar în chat: Beam Search produce texte formal corecte dar adesea monotone și consumă mult mai multă memorie de calcul decât eșantionarea stochastică.
Întrebări & Discuții: Beam Search, Contrastive Search și Greedy Decoding în LLM
Ai o întrebare despre Beam Search, Contrastive Search și Greedy Decoding în LLM sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.