TextStreamer interceptează tokenii produși de metoda generate() și îi decodează instantaneu pe măsură ce sunt generați, eliminând timpul de așteptare până la finalizarea întregului răspuns.
Exemplu de utilizare
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct", device_map="auto")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
inputs = tokenizer("Explicați computația cuantică pe scurt:", return_tensors="pt").to("cuda")
_ = model.generate(**inputs, streamer=streamer, max_new_tokens=150)Pentru streaming asincron în servere web (FastAPI, WebSockets), se utilizează varianta TextIteratorStreamer.
Întrebări & Exemple practice:
Clasa TextStreamer în Transformers: Generare de Text cu Streaming în Timp RealAi o întrebare despre Clasa TextStreamer în Transformers: Generare de Text cu Streaming în Timp Real sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.