Ce este
Chiar dacă un model modern se laudă cu ferestre masive de 128.000 sau 1.000.000 de tokeni, asta nu înseamnă că fiecare paragraf este analizat cu aceeași intensitate.
Studiile universitare (Liu et al., 2023) au demonstrat existența fenomenului Lost in the Middle: când un fapt cheie este plasat în centrul unui document uriaș, acuratețea modelului de a-l găsi și folosi scade dramatic în comparație cu situația în care același fapt se află chiar la începutul sau la finalul textului.
Analogia din viața reală
Când citești o revistă groasă de 200 de pagini, îți amintești perfect coperta și articolul de deschidere, iar la sfârșit ții minte concluzia și ultima pagină. Toate reclamele și articolele mărunte de la paginile 80-120 se estompează într-o ceață generală în memoria ta.
Cum funcționează tehnic
Mecanismele de atenție și normalizare tind să atribuie ponderi mai mari primilor tokeni (care stabilesc contextul) și ultimilor tokeni generați recent.
Testul standard de laborator se numește Needle In A Haystack (NIAH): ascunderea unei propoziții cheie (‘acul’) la adâncimi diferite (0%, 25%, 50%, 75%, 100%) într-un ocean de text irelevant (‘carul cu fân’).
Exemple practice și aplicații
- Dacă trimiți un fișier de log-uri de 50.000 de linii și eroarea critică este la linia 25.000, modelul ar putea concluziona greșit că nu există nicio problemă.
- Soluție practică: plasează instrucțiunile cele mai importante și întrebarea exactă chiar la sfârșitul promptului, după documentele atașate.
Greșeli frecvente sau mituri
Modelele mai noi au atenuat parțial acest efect prin antrenare orientată pe retrieval pe context lung, dar fenomenul rămâne o realitate tehnică de care trebuie ținut cont în sistemele de producție.
Termeni înrudiți
context-window: Noțiune asociată din ghidul de Modele Mari de Limbaj.self-attention: Noțiune asociată din ghidul de Modele Mari de Limbaj.embedding-vectorial: Noțiune asociată din ghidul de Modele Mari de Limbaj.