Ce înseamnă Chain of Thought (CoT)
Wei et al. (Google, 2022) au arătat că dacă pui în prompt câteva exemple rezolvate cu pași intermediari, modelele mari încep să scrie și ele pașii și rezolvă mai bine probleme de aritmetică, bun-simț și raționament simbolic.
Kojima et al. (2022) au arătat că merge și fără exemple: adăugarea frazei „Let’s think step by step” înainte de răspuns a crescut acuratețea pe MultiArith de la 17,7% la 78,7% cu text-davinci-002 (zero-shot CoT).
Cum funcționează
Fiecare pas scris devine parte din context și poate fi folosit la pașii următori; modelul are astfel mai mulți tokeni, deci mai multe treceri prin rețea, pentru a ajunge la răspuns.
Modelele de raționament sunt antrenate să facă asta singure. DeepSeek-R1-Zero a fost antrenat doar prin învățare prin întărire, cu recompense pentru răspunsul corect și pentru format. Modelele OpenAI și Claude actuale generează tokeni de raționament înainte de răspuns, controlați prin parametrul de efort (reasoning effort, respectiv effort).
Pe înțelesul tuturor
Dacă înmulțești 347 × 89 în minte, poți greși. Pe hârtie notezi 347 × 9 = 3.123, apoi 347 × 80 = 27.760, le aduni și obții 30.883. CoT este ciorna.
Exemplu
Prompt cu exemplu (few-shot CoT): dai o problemă rezolvată pas cu pas, apoi problema nouă. Modelul imită formatul și scrie pașii înainte de rezultat.
De reținut
- În lucrarea Wei et al., CoT a ajutat doar modelele de aproximativ 100B de parametri; modelele mici scriau lanțuri fluente, dar ilogice, și obțineau rezultate mai slabe.
- Pașii scriși nu sunt garantat procesul real prin care modelul a ajuns la răspuns; trebuie verificați ca orice alt text generat.
Nu confunda
- CoT promptat vs. modele de raționament: primul este o tehnică de prompt; al doilea înseamnă modele antrenate să raționeze, la care API-ul ascunde sau rezumă de obicei raționamentul brut.
Termeni înrudiți
- Tokeni de Gândire (etichetele think): Tokenii pe care un model de raționament îi generează înainte de răspunsul final și felul în care fiecare furnizor îi separă, afișează sau ascunde.
- Test-Time Scaling & Compute: Îmbunătățirea răspunsurilor unui model prin mai mult calcul în momentul generării: raționamente mai lungi, mai multe încercări sau verificare.
- Învățarea în Context (In-Context Learning): Capacitatea unui LLM de a rezolva o sarcină nouă doar din instrucțiunile și exemplele din prompt, fără antrenare suplimentară.
- GRPO (Group Relative Policy Optimization): Variantă de PPO introdusă în DeepSeekMath, care renunță la modelul de valoare și compară fiecare răspuns cu media unui grup de răspunsuri la aceeași întrebare.
Întrebări & Discuții: Chain of Thought (CoT)
Ai o întrebare despre Chain of Thought (CoT) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.