Ce înseamnă Distilarea modelelor
Distilarea (în engleză knowledge distillation) este o tehnică prin care un model mare și performant, numit profesor, este folosit pentru a antrena un model mai mic, numit elev. Elevul învață să imite răspunsurile profesorului și păstrează o bună parte din abilitățile lui, fiind în același timp mult mai rapid și mai ieftin de rulat.
Metoda a fost popularizată în 2015 de Geoffrey Hinton și colegii săi de la Google. Un exemplu clasic este DistilBERT (2019), o versiune mai mică și mai rapidă a modelului BERT, care păstra cea mai mare parte din performanța originalului.
Astăzi, distilarea este folosită pe scară largă pentru a crea versiuni mici ale modelelor mari, de exemplu modele care rulează pe telefon. Ridică și întrebări juridice: termenii de utilizare ai multor servicii AI interzic folosirea răspunsurilor lor pentru a antrena modele concurente.
Cum funcționează
În forma clasică, elevul nu învață doar răspunsul final al profesorului („pisică”), ci întreaga distribuție de probabilități („pisică 90%, linx 7%, câine 3%”). Aceste „etichete moi” conțin mai multă informație decât o simplă etichetă corectă: arată și ce variante sunt aproape corecte.
La modelele de limbaj, distilarea se face adesea mai simplu: profesorul generează un număr mare de răspunsuri de calitate (inclusiv raționamente pas cu pas), iar elevul este antrenat pe ele prin fine-tuning. Așa au fost create, de exemplu, versiuni mici ale unor modele de raționament.
Pe înțelesul tuturor
Distilarea seamănă cu un profesor universitar care, după ani de cercetare, scrie un manual clar pentru studenți. Studentul nu are toată experiența profesorului, dar învață esențialul din manual, mult mai repede decât dacă ar reface toate cercetările.
Exemplu
O firmă folosește un model mare și scump pentru a clasifica mesajele clienților. Ca să reducă costurile, lasă modelul mare să eticheteze 100.000 de mesaje, apoi antrenează pe aceste etichete un model mic, care rulează pe propriul server. Modelul mic ajunge aproape la fel de precis la această sarcină, la o fracțiune din cost.
De reținut
- Distilarea transferă cunoștințele unui model mare (profesor) într-unul mic (elev).
- Elevul este mai rapid și mai ieftin, dar de obicei puțin mai slab decât profesorul.
- Folosirea răspunsurilor unui serviciu comercial pentru distilare poate încălca termenii lui de utilizare.
Nu confunda
- Distilare vs. cuantizare: distilarea antrenează un model nou, mai mic; cuantizarea păstrează același model, dar îi stochează parametrii cu mai puțină precizie. Cele două pot fi combinate.
- Distilare vs. fine-tuning: distilarea este un tip de antrenare în care datele vin de la alt model; fine-tuning-ul poate folosi orice fel de date.
Termeni înrudiți
- SLM (model lingvistic mic): Model de limbaj compact, cu relativ puțini parametri, care poate rula rapid și ieftin pe un laptop, pe telefon sau pe un server mic.
- Cuantizare: Tehnica prin care parametrii unui model sunt stocați pe mai puțini biți, ca modelul să ocupe mai puțină memorie și să ruleze mai repede.
- Fine-tuning: Antrenarea suplimentară a unui model deja antrenat, pe un set mic de exemple, ca să se specializeze pe o sarcină, un domeniu sau un stil.
- LLM (model lingvistic mare): Model AI antrenat pe cantități uriașe de text, care înțelege și generează limbaj; stă în spatele ChatGPT, Claude sau Gemini.
- Model de raționament: Model de limbaj antrenat să „gândească” pe îndelete, printr-un raționament intern, înainte de a da răspunsul final.
- Edge AI (AI pe dispozitiv): Rularea modelelor AI direct pe telefon, laptop, cameră sau mașină, fără a trimite datele la un server din cloud.