Pentru a alimenta antrenorul SFTTrainer, datele brute din setul de date (ex: coloanele intrebare și raspuns) trebuie concatenate într-o singură coloană de text formatat.
alpaca_prompt = """Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction:
{}
### Response:
{}"""
def formatting_prompts_func(examples):
instructions = examples["instruction"]
outputs = examples["output"]
texts = []
for instruction, output in zip(instructions, outputs):
text = alpaca_prompt.format(instruction, output) + tokenizer.eos_token
texts.append(text)
return {"text": texts}Adăugarea tokenului de final tokenizer.eos_token la sfârșitul fiecărui răspuns este esențială pentru ca modelul să învețe unde să se oprească din generare.
Întrebări & Exemple practice:
Construirea Funcțiilor Personalizate formatting_prompts_funcAi o întrebare despre Construirea Funcțiilor Personalizate formatting_prompts_func sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.