Ce înseamnă Învățarea în Context (In-Context Learning)
Lucrarea GPT-3 (Brown et al., 2020) a arătat că un model suficient de mare poate rezolva sarcini noi dacă primește în prompt o descriere și câteva exemple, fără nicio actualizare a ponderilor. Autorii subliniază că „învățarea” din aceste experimente nu implică gradient sau fine-tuning.
Performanța a crescut cu mărimea modelului: modelele mai mari au folosit mai bine exemplele din context.
Cum funcționează
Zero-shot: doar instrucțiunea, fără exemple.
One-shot: instrucțiunea plus un exemplu.
Few-shot: instrucțiunea plus mai multe exemple; în lucrarea GPT-3, de obicei între 10 și 100, cât încăpea în fereastra de 2.048 de tokeni. În practică, la modelele actuale, câteva exemple bine alese sunt adesea suficiente.
Pe înțelesul tuturor
Un coleg nou primește trei formulare completate corect și i se cere să completeze al patrulea în același stil. Nu merge la un curs; înțelege tiparul din exemple.
Exemplu
Extragerea datelor într-un format fix: dai două exemple de text și obiectul JSON corespunzător, apoi textul nou. Modelul produce JSON în aceeași structură.
De reținut
- Ce „învață” modelul din prompt dispare după cerere; ponderile nu se schimbă.
- Exemplele ocupă din fereastra de context și costă tokeni.
Nu confunda
- In-context learning vs. fine-tuning: ICL schimbă doar promptul; fine-tuning-ul schimbă ponderile.
Termeni înrudiți
- Fereastra de Context (Context Window): Limita de tokeni pe care modelul o poate vedea într-o cerere: instrucțiuni, istoric, documente și răspunsul generat.
- Chain of Thought (CoT): Tehnica prin care modelul scrie pașii intermediari ai raționamentului înainte de răspuns, ceea ce îmbunătățește rezultatele la matematică și logică.
- Supervised Fine-Tuning (SFT): Etapa în care un model de bază este antrenat pe exemple de instrucțiuni și răspunsuri bune, ca să învețe formatul și comportamentul unui asistent.
Întrebări & Discuții: Învățarea în Context (In-Context Learning)
Ai o întrebare despre Învățarea în Context (In-Context Learning) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.