Ce înseamnă Distilarea modelelor (Knowledge Distillation)
Distilarea transferă cunoștințele unui model mare (profesorul) într-un model mai mic (elevul). Hinton, Vinyals și Dean (2015) au formalizat ideea: elevul învață din distribuțiile de probabilitate produse de profesor, nu doar din etichetele corecte.
La LLM-uri, forma cea mai des întâlnită este mai simplă: profesorul generează răspunsuri (de exemplu raționamente pas cu pas), iar elevul este antrenat prin fine-tuning supravegheat pe aceste texte.
Cum funcționează
Pasul 1: modelul mare răspunde la un set mare de întrebări.
Pasul 2: răspunsurile sunt filtrate (de exemplu, se păstrează doar cele corecte).
Pasul 3: modelul mic este antrenat pe perechile întrebare-răspuns rezultate, la fel ca la SFT.
Pe înțelesul tuturor
Un profesor cu experiență nu îi dă elevului toată biblioteca pe care a citit-o, ci îi scrie rezolvări complete la sute de probleme. Elevul învață din rezolvări și ajunge să rezolve singur probleme asemănătoare, chiar dacă știe mai puține lucruri decât profesorul.
Exemplu
DeepSeek a publicat șase modele distilate din DeepSeek-R1 (1,5B, 7B, 8B, 14B, 32B și 70B), bazate pe Qwen2.5 și Llama 3. Ele au fost antrenate prin fine-tuning pe aproximativ 800.000 de exemple generate cu DeepSeek-R1, conform model card-ului oficial. Lucrarea DeepSeek-R1 arată că tiparele de raționament ale modelului mare, distilate, dau rezultate mai bune decât RL aplicat direct pe modelele mici.
Zephyr-7B (Hugging Face, 2023) a folosit distilare atât la SFT (dSFT), cât și la alinierea pe preferințe (dDPO), cu preferințe generate de un model profesor, fără adnotare umană.
De reținut
- Elevul este mai ieftin și mai rapid la inferență, dar de obicei mai slab decât profesorul.
- Termenii furnizorului contează: de exemplu, termenii comerciali Anthropic restricționează folosirea Claude pentru dezvoltarea de modele AI concurente.
Nu confunda
- Distilare vs. cuantizare: distilarea antrenează un model nou, mai mic; cuantizarea păstrează același model și îi reduce precizia numerică.
Termeni înrudiți
- Supervised Fine-Tuning (SFT): Etapa în care un model de bază este antrenat pe exemple de instrucțiuni și răspunsuri bune, ca să învețe formatul și comportamentul unui asistent.
- Cuantizarea Modelelor (Quantization): Reducerea preciziei numerice a ponderilor, de la 16 biți la 8, 4 sau mai puțini, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- GRPO (Group Relative Policy Optimization): Variantă de PPO introdusă în DeepSeekMath, care renunță la modelul de valoare și compară fiecare răspuns cu media unui grup de răspunsuri la aceeași întrebare.
- Chain of Thought (CoT): Tehnica prin care modelul scrie pașii intermediari ai raționamentului înainte de răspuns, ceea ce îmbunătățește rezultatele la matematică și logică.