StoppingCriteria și StoppingCriteriaList permit definirea de condiții dinamice de oprire în timpul rulării metodei model.generate(), de exemplu atunci când modelul generează un cuvânt cheie de oprire (cum ar fi "Utilizator:" sau un tag de final de cod).
from transformers import StoppingCriteria, StoppingCriteriaList
class StopOnWord(StoppingCriteria):
def __init__(self, stop_ids):
self.stop_ids = stop_ids
def __call__(self, input_ids, scores, **kwargs) -> bool:
return input_ids[0][-1].item() in self.stop_ids
stopping = StoppingCriteriaList([StopOnWord(stop_ids=[tokenizer.encode("###")[0]])])
outputs = model.generate(**inputs, stopping_criteria=stopping)Prevenire monologuri: Esențial în agenți și interfețe de chat pentru a împiedica modelul să continue conversația în locul utilizatorului.
Întrebări & Exemple practice:
StoppingCriteria: Oprirea Dinamică a Generării pe Secvențe Specifice de TokeniAi o întrebare despre StoppingCriteria: Oprirea Dinamică a Generării pe Secvențe Specifice de Tokeni sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.