Ce înseamnă Supervised Fine-Tuning (SFT)
După pre-antrenare, modelul continuă text, dar nu se comportă ca un asistent. Prin Supervised Fine-Tuning, el este antrenat în continuare pe perechi de tip mesaj al utilizatorului / răspuns dorit, scrise sau verificate de oameni ori generate de alte modele.
Seturile pot fi mici. InstructGPT (OpenAI, 2022) a folosit în jur de 13.000 de prompturi pentru SFT. Echipa Llama 2 s-a oprit la 27.540 de adnotări, observând că un set mai mic, de calitate, funcționa mai bine. LIMA (2023) a obținut rezultate bune cu doar 1.000 de exemple atent selectate.
Cum funcționează
Se folosește aceeași pierdere ca la pre-antrenare (predicția tokenului următor), dar pe date conversaționale formatate cu rolurile system / user / assistant.
De obicei pierderea se calculează doar pe tokenii răspunsului. Raportul Llama 2 spune explicit că pierderea pe tokenii din promptul utilizatorului este pusă la zero.
Pe înțelesul tuturor
Dacă pre-antrenarea a fost cititul unei biblioteci întregi, SFT este stagiul în care cineva îți arată, pe exemple concrete, cum să răspunzi clar și la obiect unui client.
Exemplu
Un set SFT poate conține exemple ca: utilizatorul cere „răspunde doar în JSON”, iar răspunsul model este un obiect JSON valid. După antrenare, modelul respectă mai des astfel de cerințe de format.
De reținut
- Calitatea exemplelor contează mai mult decât numărul lor (concluzia comună a rapoartelor Llama 2 și LIMA).
- Autorii LIMA susțin ipoteza că aproape toate cunoștințele vin din pre-antrenare, iar SFT învață mai ales formatul și stilul; este o ipoteză, nu o regulă demonstrată.
Nu confunda
- SFT vs. RLHF/DPO: SFT imită răspunsuri date; RLHF și DPO învață din comparații între răspunsuri (care e mai bun).
Termeni înrudiți
- Pre-antrenarea (Pre-training): Prima etapă de antrenare, în care modelul învață limba și cunoștințe generale prezicând următorul token pe trilioane de tokeni de text.
- RLHF (Alinierea prin Feedback Uman): Metoda de aliniere în care oamenii compară răspunsuri, un model de recompensă învață aceste preferințe, iar LLM-ul este optimizat prin învățare prin întărire.
- DPO (Direct Preference Optimization): Metodă de aliniere care învață direct din perechi răspuns preferat / răspuns respins, cu o simplă pierdere de clasificare, în locul pipeline-ului RLHF cu PPO.
- LoRA și QLoRA: Metodă de fine-tuning care antrenează doar două matrice mici atașate straturilor modelului, cu mult mai puțină memorie decât fine-tuning-ul complet.
- Distilarea modelelor (Knowledge Distillation): Tehnica prin care un model mic învață din răspunsurile sau probabilitățile unui model mare, ca să păstreze o parte din calitate la un cost de rulare mai mic.