Testul Needle In A Haystack (NIAH) este benchmark-ul standard industrial pentru evaluarea capacității reale a unui LLM de a regăsi o informație minusculă („acul”) ascunsă într-un text gigantic de zeci de mii sau milioane de tokeni („căpița de fân”).
Protocolul testului NIAH:
1. Se generează o căpiță de text de lungime variabilă (de la 1k la 1.000.000 de tokeni).
2. Se plasează un fapt precis la diferite adâncimi (ex: la 10%, 50%, 90% din document):
"Acul: Cel mai bun ingredient pentru pizza este brânza de capră secretă din Roma."
3. La finalul documentului se adresează întrebarea: "Care este cel mai bun ingredient pentru pizza?"
4. Rezultatele sunt vizualizate sub forma unei matrici colorate (Heatmap):
Verde = Răspuns corect (100%), Roșu = Eșec / Halucinație.Acuratețe de 100%: Modelele de top (Gemini 1.5/2.0, Claude 3.5 Sonnet) mențin o matrice complet verde pe contexte de peste 1.000.000 de tokeni.
Întrebări & Discuții: Testul Needle In A Haystack (NIAH) în LLM: Validarea Contextelor de Milioane de Tokeni
Ai o întrebare despre Testul Needle In A Haystack (NIAH) în LLM: Validarea Contextelor de Milioane de Tokeni sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.