Ce înseamnă Skeleton-of-Thought (SoT)
Skeleton-of-Thought (SoT) a fost propus de Xuefei Ning și colegii de la Universitatea Tsinghua și Microsoft Research (ICLR 2024). Scopul este reducerea timpului de răspuns: un model generează textul token cu token, deci un răspuns lung durează mult.
SoT cere întâi un schelet (o listă scurtă de puncte), apoi extinde fiecare punct printr-un apel API separat sau prin decodare în lot, în paralel. Pe cele 12 modele testate, accelerarea a ajuns până la de 2,39 ori, iar autorii raportează că, pentru mai multe categorii de întrebări, calitatea răspunsului poate chiar crește.
Autorii spun că SoT se potrivește la întrebări cu răspuns lung, a cărui structură se poate planifica dinainte, și nu se potrivește la întrebări care cer raționament pas cu pas sau au un răspuns scurt. De aceea au propus și varianta SoT-R, în care un router activează SoT doar pentru întrebările potrivite.
Cum funcționează
Etapa de schelet: promptul din lucrare cere o listă numerotată de puncte, fiecare de 3–5 cuvinte, în general între 3 și 10 puncte.
Etapa de extindere: pentru fiecare punct se trimite un apel separat, care conține întrebarea, scheletul complet și cererea de a scrie doar acel punct, foarte scurt, în 1–2 propoziții. Apelurile rulează în paralel, iar la final răspunsurile se concatenează.
Numărul total de tokeni crește (întrebarea și scheletul se repetă în fiecare apel), dar timpul până la răspunsul complet scade.
Pe înțelesul tuturor
Un redactor scrie cuprinsul unui ghid, apoi dă fiecare capitol unui alt coleg. Capitolele se scriu în același timp, iar ghidul e gata mai repede decât dacă l-ar scrie un singur om, capitol după capitol.
Exemplu
Apelul 1:Dă doar scheletul răspunsului, ca listă numerotată de 3–10 puncte, fiecare de 3–5 cuvinte. Întrebare: Cum îmi reduc consumul de energie acasă?
Răspuns posibil: 1. Iluminat LED. 2. Termostat programabil. 3. Electrocasnice eficiente. 4. Izolarea locuinței.
Apelurile 2–5, în paralel, câte unul pe punct:Întrebarea: ... Scheletul: ... Scrie doar punctul 2, foarte scurt, în 1–2 propoziții.
De reținut
- SoT optimizează latența, nu raționamentul.
- Se potrivește la răspunsuri lungi cu structură de listă; nu la matematică sau la probleme cu pași dependenți unul de altul.
- Paralelismul cere apeluri API simultane sau decodare în lot.
Nu confunda
- SoT vs. chain-of-thought: CoT scrie pași dependenți unul de altul; în SoT punctele sunt extinse independent.
- SoT vs. prompt chaining: în chaining, pașii rulează în serie; în SoT, extinderile rulează în paralel.
Termeni înrudiți
- Prompt Chaining (înlănțuirea prompturilor): Împărțirea unei sarcini mari în mai multe apeluri la model, legate între ele, ca fiecare pas să poată fi verificat și ajustat separat.
- Chain-of-Thought (CoT) Prompting: Tehnica prin care modelul este îndemnat să scrie pașii intermediari ai raționamentului înainte de răspuns; la modelele de raționament actuale, acest lucru se întâmplă intern.
- Ieșire structurată (JSON mode și Structured Outputs): Obținerea unui răspuns într-un format exact, de obicei JSON conform unei scheme, prin instrucțiuni sau prin funcțiile de structured outputs ale API-urilor.