Ce este
La nivelul cel mai profund, întreaga inteligență a unui model de limbaj este rezultatul unui singur obiectiv matematic: primind un șir de cuvinte, care este probabilitatea fiecărui cuvânt din dicționar de a apărea imediat următorul?
Deși pare o sarcină banală, pentru a ghici corect următorul token într-un text complex (cum ar fi o demonstrație matematică, o linie de cod sau un tratat filozofic), modelul trebuie să construiască o reprezentare internă a logicii, gramaticii și raționamentului.
Analogia din viața reală
Este ca jocul de societate unde fiecare participant adaugă câte un cuvânt la o poveste. Pentru ca povestea să aibă sens și să fie captivantă, nu poți alege cuvinte la întâmplare; trebuie să ții minte cine sunt personajele, ce s-a întâmplat până acum și care sunt regulile gramaticale.
Cum funcționează tehnic
Ultimul strat al rețelei neuronale produce un vector de scoruri ne-normalizate (numite logits), câte unul pentru fiecare cuvânt din vocabular (de exemplu 128.000 de scoruri).
O funcție Softmax transformă aceste scoruri într-o distribuție de probabilitate (suma lor fiind 100%). Un algoritm de eșantionare alege următorul token conform acestei distribuții.
Exemple practice și aplicații
- Pentru ‘Cerul senin este…’: tokenul ‘ albastru’ primește 88% probabilitate, ‘ senin’ 5%, ‘ verde’ 0.001%.
- Pentru ‘def suma(a, b): return…’: tokenul ‘ a’ primește 92% probabilitate.
Greșeli frecvente sau mituri
Faptul că este ‘doar un auto-complete avansat’ nu înseamnă că nu este capabil de raționament; pentru a prezice corect continuarea unui cod complex, este obligatoriu ca rețeaua să simuleze execuția acelui cod.
Termeni înrudiți
pre-training: Noțiune asociată din ghidul de Modele Mari de Limbaj.temperatura: Noțiune asociată din ghidul de Modele Mari de Limbaj.top-p-top-k: Noțiune asociată din ghidul de Modele Mari de Limbaj.