Ce înseamnă Self-Consistency
Self-consistency a fost propusă de Xuezhi Wang și colegii de la Google Research, Brain Team (2022, ICLR 2023). Pornește de la ideea că o problemă de raționament poate fi rezolvată pe mai multe căi diferite care duc la același răspuns corect.
În loc de o singură generare greedy cu chain-of-thought, se eșantionează mai multe raționamente, se extrage răspunsul final din fiecare și se alege răspunsul majoritar. Față de CoT cu decodare greedy, lucrarea raportează creșteri de +17,9% pe GSM8K, +11,0% pe SVAMP, +12,2% pe AQuA, +6,4% pe StrategyQA și +3,9% pe ARC-challenge.
Cum funcționează
Trimiți același prompt CoT de N ori, cu sampling activat; răspunsurile diferă pentru că fiecare generare alege alți tokeni. În experimentele principale, autorii au eșantionat 40 de răspunsuri pe întrebare și au arătat că metoda este robustă la alegerea parametrilor de sampling.
Din fiecare răspuns extragi rezultatul final (un număr, o literă, o etichetă) și numeri voturile. Lucrarea precizează că metoda se aplică direct doar când răspunsul vine dintr-un set fix de valori; pentru text liber ar fi nevoie de o măsură a acordului dintre răspunsuri.
Costul crește de N ori. Autorii sugerează să pornești cu puține căi, 5 sau 10, pentru că în majoritatea cazurilor performanța se stabilizează repede.
Pe înțelesul tuturor
Dai aceeași problemă de matematică mai multor elevi care lucrează independent. Fiecare o rezolvă altfel, dar dacă majoritatea ajung la același rezultat, acela are cele mai mari șanse să fie corect.
Exemplu
Pentru o problemă cu răspuns numeric, rulezi promptul de 10 ori. Răspunsurile finale extrase sunt: 18, 18, 26, 18, 18, 18, 26, 18, 18, 18. Votul majoritar alege 18 (8 voturi din 10).
De reținut
- Self-consistency = mai multe raționamente eșantionate + vot majoritar pe răspunsul final.
- Funcționează când răspunsurile se pot compara direct: numere, opțiuni, etichete.
- Costă de N ori mai mult; 5–10 eșantioane sunt punctul de pornire sugerat de autori.
- Votul reduce erorile întâmplătoare, dar nu corectează o greșeală pe care modelul o face la fel în majoritatea încercărilor.
Nu confunda
- Self-consistency vs. ansamblu de modele: aici se folosește un singur model, eșantionat de mai multe ori.
- Self-consistency vs. Tree of Thoughts: self-consistency votează doar la final; ToT evaluează și alege la fiecare pas.
Termeni înrudiți
- Chain-of-Thought (CoT) Prompting: Tehnica prin care modelul este îndemnat să scrie pașii intermediari ai raționamentului înainte de răspuns; la modelele de raționament actuale, acest lucru se întâmplă intern.
- Tree of Thoughts (ToT): Metodă în care modelul propune mai mulți pași intermediari posibili, îi evaluează singur, iar un algoritm de căutare îi explorează ca pe un arbore, cu posibilitatea de a reveni.
- Prompting pentru modele de raționament: Cum scrii prompturi pentru modelele care raționează intern înainte să răspundă: obiectiv și criterii clare, fără chain-of-thought impus, cu efortul reglat din parametrii API.