Ce înseamnă Fenomenul Lost in the Middle
Liu et al. (Stanford, 2023) au testat modele de limbaj pe două sarcini: răspunsuri pe baza mai multor documente și regăsirea unei valori după cheie. Performanța a fost de obicei cea mai bună când informația relevantă era la începutul sau la sfârșitul contextului și a scăzut semnificativ când era la mijloc, inclusiv la modelele făcute pentru context lung.
Rezultatul are forma literei U: precizie mare la capete, mai mică la mijloc.
Cum funcționează
Lucrarea măsoară efectul, dar nu stabilește o cauză unică. O observație înrudită: Xiao et al. (2023) au arătat că modelele dau scoruri de atenție mari primilor tokeni chiar dacă nu sunt importanți semantic („attention sinks”).
Documentația Anthropic descrie un fenomen mai general, „context rot”: precizia și regăsirea scad pe măsură ce crește numărul de tokeni din context.
Pe înțelesul tuturor
Dintr-o revistă groasă îți amintești bine coperta și ultimele pagini, iar articolele din mijloc se estompează.
Exemplu
Documentația Anthropic pentru prompturi lungi recomandă documentele la începutul promptului și întrebarea la sfârșit; în testele lor, întrebarea plasată la final a îmbunătățit calitatea răspunsurilor cu până la 30%, mai ales cu mai multe documente.
De reținut
- O fereastră de context mare nu garantează folosirea la fel de bună a întregului context.
- Pentru date lungi, ajută să extragi întâi pasajele relevante (sau să folosești RAG) și abia apoi să ceri răspunsul.
Nu confunda
- Lost in the middle vs. depășirea contextului: aici textul încape în fereastră, dar este folosit inegal; la depășire, textul nu mai poate fi trimis deloc.
Termeni înrudiți
- Fereastra de Context (Context Window): Limita de tokeni pe care modelul o poate vedea într-o cerere: instrucțiuni, istoric, documente și răspunsul generat.
- Auto-Atenția (Self-Attention): Inima Transformerului: mecanismul matematic care permite modelului să decidă ce alte cuvinte contează pentru a înțelege un anumit cuvânt în context.
- Vectori de Embeddings (Embeddings): Vectori de numere care reprezintă tokeni sau texte întregi; textele cu sens asemănător ajung la vectori apropiați.
- Halucinațiile în LLM: Răspunsuri plauzibile, dar false, pe care modelul le generează cu aceeași încredere ca pe cele corecte.