Ce este Fine-tuning?

Ce înseamnă Fine-tuning

Fine-tuning-ul (în română, uneori, ajustare fină) înseamnă luarea unui model deja antrenat și antrenarea lui în continuare pe un set de date mai mic și specific. Modelul își păstrează cunoștințele generale, dar își adaptează comportamentul: învață un stil de scriere, un format de răspuns, terminologia unui domeniu sau o sarcină anume.

Este mult mai ieftin decât antrenarea de la zero: e nevoie de sute sau mii de exemple, nu de miliarde, și de ore de calcul, nu de luni. De aceea, fine-tuning-ul este calea obișnuită prin care firmele și cercetătorii adaptează modele existente, inclusiv modele cu ponderi deschise, precum Llama sau Mistral.

Chiar și chatboții cunoscuți sunt rezultatul unui fine-tuning: un model de bază, care doar continuă texte, este ajustat pe exemple de conversații ca să devină un asistent care urmează instrucțiuni (instruction tuning).

Cum funcționează

Se pregătește un set de exemple în formatul dorit, de exemplu perechi „întrebare – răspuns ideal”. Modelul este antrenat pe ele cu o rată de învățare mică, ca să nu-și „uite” cunoștințele anterioare. La final rezultă o versiune nouă a modelului, cu parametrii ușor modificați.

Pentru a reduce costurile se folosesc des metode eficiente, precum LoRA, care nu modifică toți parametrii, ci antrenează doar un set mic de parametri suplimentari. Unii furnizori oferă și fine-tuning prin API: încarci exemplele, iar ei antrenează și găzduiesc modelul ajustat.

Pe înțelesul tuturor

Fine-tuning-ul seamănă cu specializarea unui medic de familie în cardiologie: nu reia facultatea de la zero și își păstrează cunoștințele generale, dar petrece un timp concentrat pe un singur domeniu și devine mult mai bun acolo.

Exemplu

O firmă de asigurări are 3.000 de rapoarte de daună scrise de experți, în formatul ei intern. Face fine-tuning pe un model cu ponderi deschise folosind aceste exemple. Modelul ajustat ajunge să redacteze rapoarte noi exact în structura și terminologia firmei, lucru greu de obținut doar din prompt.

De reținut

• Fine-tuning înseamnă antrenarea suplimentară a unui model existent pe date specifice.
• Este potrivit pentru stil, format și sarcini precise, mai puțin pentru informații care se schimbă des.
• Este mult mai ieftin decât antrenarea de la zero, mai ales cu metode precum LoRA.

Nu confunda

• Fine-tuning vs. RAG: fine-tuning-ul schimbă comportamentul modelului; RAG îi dă informații noi la fiecare întrebare. Pentru fapte actuale se preferă RAG, pentru stil și format, fine-tuning.
• Fine-tuning vs. prompt engineering: prompt engineering nu modifică modelul; fine-tuning-ul îl modifică permanent.

Termeni înrudiți

• LoRA: Metodă ieftină de fine-tuning care lasă modelul original neschimbat și antrenează doar niște matrice mici adăugate pe lângă el.
• Transfer learning: Refolosirea unui model antrenat deja pe o sarcină mare, pentru a rezolva cu puține date o sarcină nouă, înrudită.
• Instruction tuning: Etapa de antrenare în care un model de limbaj învață să urmeze instrucțiuni, din exemple de tipul „cerere – răspuns bun”.
• RAG (generare augmentată prin căutare): Tehnica prin care un model de limbaj caută întâi informații relevante în documente sau pe internet și abia apoi răspunde, pe baza lor.
• Model fundamental (foundation model): Model AI mare, antrenat pe date foarte variate, care poate fi adaptat la multe sarcini diferite; GPT, Claude, Gemini sau Llama sunt astfel de modele.
• Antrenarea unui model: Procesul prin care un model AI învață din date, ajustându-și parametrii pas cu pas, ca să greșească tot mai puțin.