Ce înseamnă Directional Stimulus Prompting
Directional Stimulus Prompting a fost propus de Zekun Li și colegii în „Guiding Large Language Models via Directional Stimulus Prompting” (NeurIPS 2023). Metoda nu modifică LLM-ul mare, care poate fi accesibil doar prin API. În schimb, un model mic și antrenabil (de exemplu T5), numit policy model, produce pentru fiecare intrare un „stimul”: indicii specifice acelei intrări, cum ar fi cuvintele-cheie pe care ar trebui să le conțină un rezumat.
Modelul mic se antrenează prin fine-tuning supervizat pe date etichetate și apoi prin reinforcement learning, cu recompense calculate din răspunsurile LLM-ului. Lucrarea a testat metoda la rezumare, la generarea de răspunsuri în dialog și la raționament chain-of-thought. Pe setul MultiWOZ, cu doar 80 de dialoguri de antrenare, performanța ChatGPT a crescut cu 41,4%.
Cum funcționează
Pasul 1: modelul mic primește intrarea (de exemplu un articol) și generează stimulul (de exemplu o listă de cuvinte-cheie).
Pasul 2: stimulul este adăugat în promptul LLM-ului, împreună cu intrarea. LLM-ul generează răspunsul ghidat de indicii.
Pasul 3, la antrenare: răspunsul LLM-ului este notat cu o metrică a sarcinii, iar nota devine recompensa pentru modelul mic. Astfel, modelul mic învață ce indicii duc la răspunsuri bune.
Pe înțelesul tuturor
Un asistent citește dosarul înaintea șefului și îi lipește pe copertă trei cuvinte-cheie. Șeful scrie singur concluzia, dar atenția lui merge spre ce a marcat asistentul. Cu timpul, asistentul învață ce cuvinte duc la concluzii bune.
Exemplu
Prompt pentru rezumare cu stimul de tip cuvinte-cheie, ca în lucrare:Articol: [textul articolului]
Cuvinte-cheie: reciclarea bateriilor; emisii; lanț de aprovizionare
Rezumă articolul în 2–3 propoziții, pe baza cuvintelor-cheie.
Dacă scrii tu cuvintele-cheie de mână, folosești doar ideea de indiciu în prompt. Metoda din lucrare le generează automat, pentru fiecare articol, cu un model antrenat pentru asta.
De reținut
- Metoda = un model mic antrenat care generează indicii + un LLM mare nemodificat.
- Indiciile sunt specifice fiecărei intrări, nu o instrucțiune fixă.
- Cere date etichetate și antrenare (SFT, apoi RL); nu este o simplă formulare de prompt.
Nu confunda
- Directional stimulus vs. „pune accent pe X” scris de mână: o instrucțiune scrisă de mână este o constrângere obișnuită de prompt; metoda din lucrare învață automat ce indiciu să dea pentru fiecare intrare.
- DSP (Directional Stimulus Prompting) vs. DSP (Demonstrate-Search-Predict): aceeași abreviere, dar Demonstrate-Search-Predict (Khattab et al., 2022) este precursorul DSPy.
Termeni înrudiți
- Role Prompting (atribuire de rol): Atribuirea unui rol modelului, de obicei în promptul de sistem, pentru a-i ajusta tonul, nivelul tehnic și perspectiva.
- Constrângeri negative („Ce să NU faci”): Reguli care spun modelului ce să evite; ghidurile oficiale recomandă, unde se poate, să le formulezi ca instrucțiuni despre ce să facă și să explici motivul.
- DSPy (Declarative Self-improving Python): Framework Python de la Stanford NLP în care descrii sarcinile prin semnături și module, iar optimizatorii ajustează automat instrucțiunile și exemplele după o metrică.
- Chain-of-Thought (CoT) Prompting: Tehnica prin care modelul este îndemnat să scrie pașii intermediari ai raționamentului înainte de răspuns; la modelele de raționament actuale, acest lucru se întâmplă intern.