SFTTrainer simplifică masiv procesul de adaptare a modelelor generative prin gestionarea automată a formatării conversaționale (ChatML, Llama-3 format) și a adaptorilor LoRA.
Exemplu de utilizare
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl import SFTTrainer, SFTConfig
from peft import LoraConfig
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
peft_config = LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj", "v_proj"])
sft_args = SFTConfig(output_dir="./out", dataset_text_field="messages", max_seq_length=1024)
trainer = SFTTrainer(
model=model,
train_dataset=train_dataset,
args=sft_args,
peft_config=peft_config,
tokenizer=tokenizer
)
trainer.train()Formatează automat seturile de date stocate în format conversațional standard [{"role": "user", ...}, {"role": "assistant", ...}].
Întrebări & Exemple practice:
Clasa SFTTrainer în TRL: Fine-Tuning Supervizat pe Instrucțiuni și ConversațiiAi o întrebare despre Clasa SFTTrainer în TRL: Fine-Tuning Supervizat pe Instrucțiuni și Conversații sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.