Metoda merge_and_unload() realizează produsul matriceal între greutățile LoRA și le adună direct în ponderile modelului de bază, eliminând overhead-ul aditiv la inferență și generând un model Transformer autonom.
Exemplu de utilizare
from peft import PeftModel
from transformers import AutoModelForCausalLM
# Model cu adaptori LoRA atașați
model = PeftModel.from_pretrained(base_model, "./my-lora-checkpoint")
# Fuziune completă și descărcare structură PEFT
merged_model = model.merge_and_unload()
# Salvare ca model Hugging Face standard
merged_model.save_pretrained("./my-final-merged-model")
tokenizer.save_pretrained("./my-final-merged-model")Modelul rezultat poate fi convertit direct în format GGUF pentru Ollama sau optimizat cu vLLM și TensorRT-LLM.
Întrebări & Exemple practice:
Metoda merge_and_unload în PEFT: Fuziunea Permanentă a Greutăților LoRAAi o întrebare despre Metoda merge_and_unload în PEFT: Fuziunea Permanentă a Greutăților LoRA sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.