Interpretabilitatea Mecanistică este disciplina de inginerie inversă a rețelelor neuronale profunde care urmărește să descompună greutățile opace în circuite logice inteligibile pentru oameni. Utilizează Sparse Autoencoders (SAE) pentru a extrage caracteristici monosemantice din superpoziția dimensională a modelului.
Exemple de caracteristici identificate prin SAE (Anthropic / Golden Gate Claude):
- Neuroni/Caracteristici unice pentru conceptul de 'Golden Gate Bridge'.
- Caracteristici de securitate: recunoașterea tentativelor de înșelăciune sau inginerie socială.
- Caracteristici de cod: circuite dedicate pentru sintaxa limbajului Python sau parsarea JSON.
Siguranță absolută: Permite „stingerea” chirurgicală a conceptelor periculoase (arme biologice) direct din creierul rețelei neuronale.
Întrebări & Discuții: Interpretabilitate Mecanistică: Cartografierea Circuitelor și Caracteristicilor Sparse (SAE)
Ai o întrebare despre Interpretabilitate Mecanistică: Cartografierea Circuitelor și Caracteristicilor Sparse (SAE) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.