Metoda LLM.generate în vLLM: Generarea Paralelă cu Batching Dinamic în vLLM & Infrastructură LLM

Metoda generate() preia o listă de șiruri text sau secvențe de tokeni și execută inferența folosind algoritmul de batching continuu (Continuous Batching), fără irosirea timpilor morți între secvențe de lungimi inegale.

Exemplu de utilizare

prompturi = [f"Traduceți în engleză: Textul numărul {i}" for i in range(100)]
iesiri = llm.generate(prompturi, sampling_params, use_tqdm=True)

print(f"Finalizate {len(iesiri)} generări.")
print("Primul răspuns:", iesiri[0].outputs[0].text)

Este de până la 10-20 de ori mai rapidă decât o buclă standard Hugging Face Transformers.