Ce înseamnă Zero-Shot Prompting
În zero-shot prompting descrii sarcina (clasificare, rezumat, traducere, extragere) și dai datele de lucru, fără perechi de exemplu intrare–ieșire. Termenii zero-shot, one-shot și few-shot au fost folosiți sistematic în lucrarea despre GPT-3 (Brown et al., 2020, „Language Models are Few-Shot Learners”), unde numărul de exemple din prompt era singura diferență dintre cele trei moduri de evaluare.
Modelele actuale lucrează bine în zero-shot în mare parte datorită instruction tuning: antrenarea suplimentară pe multe sarcini formulate ca instrucțiuni. Lucrarea FLAN (Wei et al., Google, 2021) a arătat că un model de 137 de miliarde de parametri, antrenat astfel pe peste 60 de sarcini, a depășit GPT-3 zero-shot pe 20 din 25 de sarcini testate.
Ghidurile oficiale nu dau același sfat despre când să adaugi exemple. Pentru modelele de raționament, OpenAI recomandă să încerci întâi zero-shot și să adaugi exemple doar dacă e nevoie. Ghidul Google pentru Gemini recomandă să incluzi aproape întotdeauna exemple. Diferența se rezolvă testând ambele variante pe cazurile tale.
Cum funcționează
Modelul primește doar instrucțiunea și datele. Nu are de unde să afle formatul exact dorit în afară de ce scrie în instrucțiune, așa că formatul, lungimea, publicul și criteriile trebuie spuse explicit.
Ghidul Anthropic recomandă să scrii instrucțiunea ca pentru un coleg nou, care nu știe nimic despre proiect: ce vrei, pentru cine, în ce format și de ce. Testul propus: dacă un om fără context s-ar încurca citind promptul, se va încurca și modelul.
Pe înțelesul tuturor
Este ca un mesaj către un coleg priceput, dar nou în echipă: „Rezumă raportul atașat în trei puncte, pentru director.” Nu îi arăți rezumate vechi; te bazezi pe faptul că știe deja ce este un rezumat. Dacă vrei un anumit stil, trebuie să-l descrii.
Exemplu
Clasificare de sentiment, fără exemple:Clasifică tonul recenziei de mai jos ca Pozitiv, Neutru sau Negativ. Răspunde cu un singur cuvânt.
Recenzie: Livrarea a întârziat, dar produsul e foarte bun.
Rezumat cu constrângeri explicite:Rezumă articolul de mai jos într-un paragraf de cel mult 50 de cuvinte, pentru cititori fără pregătire tehnică.
De reținut
- Zero-shot înseamnă fără exemple rezolvate în prompt, nu fără instrucțiuni.
- Merge bine la sarcini cunoscute, formulate clar, cu formatul cerut explicit.
- Când formatul sau stilul sunt neobișnuite, încearcă few-shot și compară rezultatele pe un set de test.
Nu confunda
- Zero-shot vs. zero-shot chain-of-thought: zero-shot CoT (Kojima et al., 2022) adaugă fraza „Let’s think step by step” la un prompt zero-shot. Este o tehnică separată, descrisă la chain-of-thought.
- Zero-shot prompting vs. zero-shot learning: în învățarea automată clasică, zero-shot learning înseamnă recunoașterea unor clase nevăzute la antrenare. În prompting, termenul se referă doar la lipsa exemplelor din prompt.
Termeni înrudiți
- Few-Shot Prompting: Includerea în prompt a câtorva exemple rezolvate, ca modelul să preia formatul, tonul și tiparul dorit, fără reantrenare.
- Chain-of-Thought (CoT) Prompting: Tehnica prin care modelul este îndemnat să scrie pașii intermediari ai raționamentului înainte de răspuns; la modelele de raționament actuale, acest lucru se întâmplă intern.
- Prompt de sistem (System Prompt): Instrucțiunile date de dezvoltatorul aplicației, separat de mesajele utilizatorului, care stabilesc rolul, regulile, contextul și formatul răspunsurilor.
- Evaluarea prompturilor (criterii de succes și teste): Definirea unor criterii de succes măsurabile și a unui set de teste pe care rulezi fiecare versiune a promptului, înainte și după fiecare schimbare.