Fuzionarea Adaptorilor în Precizie Completă 16-bit (save_pretrained_merged) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Pentru a rula modelul în framework-uri de servire la scară precum vLLM, TGI sau TensorRT-LLM, adaptorii LoRA trebuie fuzionați matematic în greutățile modelului de bază (W_final = W_baza + (lora_alpha / r) * (A * B)).

# Fuzionare în precizie completă float16 / bfloat16
model.save_pretrained_merged(
    "model_final_16bit",
    tokenizer,
    save_method="merged_16bit",
)

print("Model complet fuzionat salvat! Gata pentru deploy în vLLM.")

Modelul rezultat este un model standard Hugging Face Transformers, complet independent de biblioteca Unsloth.