Ce este
Antrenarea completă a tuturor celor 70 de miliarde de parametri dintr-un model cere zeci de GPU-uri profesionale extrem de scumpe. LoRA (Low-Rank Adaptation) a democratizat fine-tuning-ul.
În loc să modifice matricele uriașe de ponderi originale (care rămân ‘înghețate’), LoRA adaugă două matrice mici paralele a căror multiplicare aproximă modificările necesare, reducând cerințele de memorie de peste 10 ori.
Analogia din viața reală
Imaginează-ți o carte groasă de medicină de 2.000 de pagini. În loc să rescrii și să retipărești întreaga carte pentru a adăuga câteva proceduri noi specifice spitalului tău, lași cartea intactă și adaugi mici foițe adezive transparente (post-it-uri) pe marginile paginilor relevante. Obții exact același rezultat, cu un cost minim de hârtie.
Cum funcționează tehnic
O matrice originală de dimensiune d × k este aproximată prin produsul a două matrice mici: A (d × r) și B (r × k), unde rangul r este foarte mic (de regulă 8, 16 sau 32).
QLoRA împinge eficiența și mai departe: cuantizează modelul de bază pe 4 biți (NormalFloat4), permițând rularea adaptării pe un singur GPU comercial.
Exemple practice și aplicații
- Adaptarea unui model generalist pentru limbaj juridic românesc cu un fișier adaptor LoRA de doar 50-100 MB.
- Comutarea instantanee între adaptori diferiți (unul pentru programare, altul pentru asistență clienți) pe același model de bază încărcat în memorie.
Greșeli frecvente sau mituri
Modelele antrenate cu LoRA nu sunt inferioare celor cu fine-tuning complet; în majoritatea sarcinilor specializate, calitatea este identică sau chiar superioară datorită riscului mai mic de uitare catastrofală.
Termeni înrudiți
sft: Noțiune asociată din ghidul de Modele Mari de Limbaj.cuantizare-llm: Noțiune asociată din ghidul de Modele Mari de Limbaj.pre-training: Noțiune asociată din ghidul de Modele Mari de Limbaj.