Constitutional AI (CAI), tehnică pionierată de Anthropic, înlocuiește adnotările umane manuale costisitoare și inconsistente din RLHF cu o „constituție” de principii etice scrise. Un model AI critică și revizuiește propriile răspunsuri conform acestor reguli (RLAIF – RL from AI Feedback).
Exemplu de flux Constitutional AI:
1. Modelul generează un răspuns inițial la o cerere controversată.
2. Pasul de Critică: "Analizează răspunsul tău. Încalcă principiul confidențialității sau al siguranței?"
3. Pasul de Revizuire: "Rescrie răspunsul pentru a respecta strict principiul enunțat."
4. Setul de date rezultat din mii de revizuiri automate este utilizat pentru antrenarea
finală DPO / PPO fără intervenție umană directă.Scalabilitate: Permite alinierea modelelor uriașe la standarde de siguranță superioare într-o fracțiune din timpul necesar etichetării umane.
Întrebări & Discuții: Constitutional AI și RLAIF: Aliniere Automată Ghidată de Principii
Ai o întrebare despre Constitutional AI și RLAIF: Aliniere Automată Ghidată de Principii sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.