SFTConfig moștenește TrainingArguments și introduce parametri specifici pentru modelele generative: câmpul de text din dataset, lungimea maximă a secvenței și împachetarea automată (packing).
Exemplu de utilizare
from trl import SFTConfig
sft_config = SFTConfig(
output_dir="./rezultate-sft",
max_seq_length=2048,
dataset_text_field="text",
packing=False, # Setat pe True pentru gruparea mai multor texte scurte
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
learning_rate=1e-4,
logging_steps=10
)Opțiunea packing=True crește eficiența antrenării cu până la 5x prin compactarea exemplelor scurte.
Întrebări & Exemple practice:
Clasa SFTConfig în TRL: Configurarea Antrenării Supervizate (SFT) pentru LLM-uriAi o întrebare despre Clasa SFTConfig în TRL: Configurarea Antrenării Supervizate (SFT) pentru LLM-uri sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.