Pentru a obține o experiență interactivă în terminal similară aplicațiilor de chat, clasa TextStreamer din Hugging Face decodifică și afișează fiecare token imediat ce a fost calculat de placa grafică.
from transformers import TextStreamer
# Configurare streamer fără afișarea tokenilor speciali de sistem
text_streamer = TextStreamer(tokenizer, skip_prompt=True)
# Apel generare cu streaming direct în stdout
_ = model.generate(
input_ids=inputs,
streamer=text_streamer,
max_new_tokens=256
)Utilizatorul vede textul curgând fluid pe ecran, fără a aștepta finalizarea întregului paragraf.
Întrebări & Exemple practice:
Afișarea în Timp Real a Răspunsurilor cu TextStreamerAi o întrebare despre Afișarea în Timp Real a Răspunsurilor cu TextStreamer sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.