Ce este
Fereastra de context reprezintă limita superioară a textului pe care un model îl poate procesa la un moment dat. Aceasta include instrucțiunile de sistem, fișierele atașate, istoricul conversației și răspunsul curent pe care îl generează.
Dacă o conversație depășește dimensiunea ferestrei de context, modelul ‘uită’ mesajele de la începutul dialogului, deoarece acestea sunt eliminate din bufferul activ.
Analogia din viața reală
Fereastra de context este ca biroul tău de lucru: dacă ai un birou mic (4.000 de tokeni), încap doar 3 foi de hârtie; dacă vrei să pui o foaie nouă, trebuie să arunci una veche la coș. Dacă ai un birou uriaș de 1 milion de tokeni (cum are Gemini 1.5 Pro), poți întinde pe el o carte întreagă de 800 de pagini și o poți consulta dintr-o singură privire.
Cum funcționează tehnic
Complexitatea clasică a atenției crește pătratic (O(N^2)) în raport cu lungimea contextului: dublarea textului cvadruplează memoria și calculul necesar.
Tehnicile moderne (FlashAttention, RoPE scaling, decodare speculativă) au permis extinderea ferestrelor de la 2.048 tokeni (în GPT-3) la 128k (GPT-4o), 200k (Claude 3.5) și până la 1-2 milioane de tokeni (Gemini).
Exemple practice și aplicații
- 8.000 tokeni (~6.000 de cuvinte): suficienți pentru un articol sau o funcție complexă de cod.
- 128.000 tokeni (~95.000 de cuvinte): echivalentul unui roman întreg precum ‘Mizerabilii’ sau al unui repository mic de cod.
- 1.000.000 tokeni: permite încărcarea simultană a 30 de lucrări științifice sau a unei ore întregi de transcriere audio.
Greșeli frecvente sau mituri
Mit: ‘Dacă un model are context de 1M, înțelege totul perfect la fel de bine peste tot’. În realitate, apare fenomenul Lost in the Middle, unde informațiile ascunse la mijlocul documentelor lungi pot fi ratate.
Termeni înrudiți
tokenizare: Noțiune asociată din ghidul de Modele Mari de Limbaj.kv-cache: Noțiune asociată din ghidul de Modele Mari de Limbaj.lost-in-the-middle: Noțiune asociată din ghidul de Modele Mari de Limbaj.