Format / Sintaxă: AI Alignment – domeniul de cercetare care asigură că obiectivele sistemelor AI converg fidel cu intențiile și valorile umane
Explicație detaliată
Problema alinierii are două paliere: alinierea intențională (modelul nu încearcă să înșele sau să acționeze malițios) și alinierea specificațiilor (modelul înțelege spiritul instrucțiunii, nu doar litera ei îngustă).
Cercetarea în aliniere folosește tehnici de RLHF, DPO, antrenare adversarială și constituții de valori (Constitutional AI de la Anthropic) pentru a garanta utilitatea, onestitatea și inocuitatea (HHH: Helpful, Honest, Harmless).
Analogie intuitivă
💡 Mitul Regelui Midas: a cerut ca tot ce atinge să se transforme în aur (obiectiv formulat literal). Când a vrut să își îmbrățișeze fiica și să bea apă, a realizat că sistemul său a îndeplinit fidel comanda, dar a fost catastrofal nealiniat cu dorința lui umană reală.
Mecanism & Funcționare
- Definirea unei constituții de reguli comportamentale de bază.
- Utilizarea feedback-ului uman și automat pentru a recompensa raționamentele juste și a penaliza răspunsurile toxice.
Exemple practice și aplicabilitate
- Refuzul ferm al unui model de a genera instrucțiuni pentru sinteza de arme biologice sau viruși cibernetici, chiar dacă cererea este formulată ca scenariu ipotetic.
Capcane frecvente & bune practici
Alinierea nu este doar o problemă filozofică a viitorului, ci o necesitate inginerească imediată pentru chatboții din producție.
Noțiuni înrudite
bias-algoritmic: Noțiune asociată din acest modul.red-teaming-ai: Noțiune asociată din acest modul.halucinatii-dezinformare: Noțiune asociată din acest modul.