Odată antrenarea finalizată, cel mai simplu mod de testare subiectivă a capabilităților este o buclă de conversație interactivă în terminal:
FastLanguageModel.for_inference(model)
istoric = []
print("=== Chat cu Modelul Antrenat (tastați 'exit' pentru ieșire) ===")
while True:
intrebare = input("
Tu: ")
if intrebare.strip().lower() in ["exit", "quit"]:
break
istoric.append({"role": "user", "content": intrebare})
prompt = tokenizer.apply_chat_template(istoric, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
print("
Asistent: ", end="", flush=True)
streamer = TextStreamer(tokenizer, skip_prompt=True)
outputs = model.generate(**inputs, streamer=streamer, max_new_tokens=512)
raspuns = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
istoric.append({"role": "assistant", "content": raspuns})Acest script gestionează istoricul conversației și afișează răspunsurile cu streaming în timp real.
Întrebări & Exemple practice:
Construirea unei Bucle Interactive de Chat în TerminalAi o întrebare despre Construirea unei Bucle Interactive de Chat în Terminal sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.