Metoda PeftModel.from_pretrained atașează adaptorii salvați (adesea de doar câțiva megabytes) peste modelul masiv de bază, permițând schimbarea dinamică a domeniului de cunoștințe la runtime.
Exemplu de utilizare
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B")
# Atașarea adaptorului LoRA medical antrenat separat
model = PeftModel.from_pretrained(base_model, "dexblog/llama3-romanian-medical-lora")
model.eval()Permite rularea mai multor adaptori independenți peste o singură instanță de model de bază încărcată în VRAM.
Întrebări & Exemple practice:
Metoda PeftModel.from_pretrained: Încărcarea Adaptorilor Salvați pe Hugging Face HubAi o întrebare despre Metoda PeftModel.from_pretrained: Încărcarea Adaptorilor Salvați pe Hugging Face Hub sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.