Ce înseamnă Instruction tuning
Instruction tuning (ajustarea pe instrucțiuni) este un tip de fine-tuning prin care un model de limbaj abia pre-antrenat învață să urmeze instrucțiuni. Este etapa care transformă un model care doar „continuă texte” într-un asistent care face ce i se cere.
Un model de bază, antrenat doar să prezică următorul cuvânt, se poate comporta ciudat dacă îi scrii „Scrie o poezie despre toamnă”: ar putea continua cu „Scrie o poezie despre iarnă. Scrie o poezie despre primăvară.”, pentru că pe internet astfel de liste de teme sunt frecvente. După instruction tuning, înțelege că i se cere o poezie și o scrie.
Metoda a fost popularizată în 2021–2022 de lucrări precum FLAN (Google) și InstructGPT (OpenAI). Astăzi, aproape toate modelele de chat trec prin această etapă, urmată de obicei de RLHF sau de metode înrudite.
Cum funcționează
Se adună un set de exemple, de la câteva mii la câteva milioane, fiecare format dintr-o instrucțiune și un răspuns bun: „Rezumă textul”, „Tradu în germană”, „Explică pe înțelesul unui copil”, „Scrie o funcție în Python”. Exemplele sunt scrise de oameni, generate de alte modele și verificate sau convertite din seturi de date existente.
Modelul este antrenat pe aceste perechi în mod supervizat; de aceea etapa se mai numește SFT (supervised fine-tuning). Diversitatea sarcinilor este esențială: modelul învață să urmeze instrucțiuni în general, inclusiv pentru tipuri de sarcini care nu apăreau în exemple.
Pe înțelesul tuturor
Un model de bază e ca un om care a citit o bibliotecă întreagă, dar n-a lucrat niciodată cu oamenii: știe multe, însă nu înțelege ce i se cere. Instruction tuning-ul este stagiul în care învață, din mii de cereri și răspunsuri model, cum să fie de folos.
Exemplu
O echipă care dezvoltă un model pentru limba română adună zeci de mii de instrucțiuni în română, cu răspunsuri bune: rezumate de texte, explicații de gramatică, corectări de eseuri, răspunsuri la întrebări de cultură generală. După instruction tuning, modelul răspunde mult mai natural la cererile formulate în română.
De reținut
- Instruction tuning învață un model de bază să urmeze instrucțiuni.
- Folosește perechi „instrucțiune – răspuns bun” și antrenare supervizată (SFT).
- Este urmat de obicei de RLHF sau de alte metode de aliniere.
Nu confunda
- Instruction tuning vs. RLHF: instruction tuning îi arată modelului răspunsuri bune; RLHF îl învață, din comparații, ce răspunsuri preferă oamenii.
- Instruction tuning vs. prompt de sistem: instruction tuning schimbă modelul prin antrenare; promptul de sistem doar îi dă instrucțiuni la folosire.
Termeni înrudiți
- Fine-tuning: Antrenarea suplimentară a unui model deja antrenat, pe un set mic de exemple, ca să se specializeze pe o sarcină, un domeniu sau un stil.
- RLHF (învățare din feedback uman): Metodă de antrenare prin care un model de limbaj învață ce răspunsuri preferă oamenii, din comparațiile făcute de evaluatori.
- Alinierea AI: Efortul de a face sistemele AI să urmărească scopurile, valorile și intențiile oamenilor, nu doar instrucțiunile lor literale.
- Model fundamental (foundation model): Model AI mare, antrenat pe date foarte variate, care poate fi adaptat la multe sarcini diferite; GPT, Claude, Gemini sau Llama sunt astfel de modele.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Învățare supervizată: Metoda de machine learning în care modelul învață din exemple care au deja atașat răspunsul corect.