Măsurarea Vitezei de Generare (Tokens Per Second Benchmark) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

import time
import torch

FastLanguageModel.for_inference(model)

torch.cuda.synchronize()
start = time.time()

outputs = model.generate(**inputs, max_new_tokens=256, use_cache=True)

torch.cuda.synchronize()
durata = time.time() - start

num_tokens = outputs.shape[1] - inputs["input_ids"].shape[1]
viteza = num_tokens / durata

print(f"Generat {num_tokens} tokeni în {durata:.2f}s -> Viteză: {viteza:.2f} tokeni/secundă!")