Cercetările de interpretabilitate mecanică a modelelor Transformer au demonstrat că straturile MLP (rețelele feed-forward formate din gate_proj, up_proj și down_proj) acționează ca memorii cheie-valoare unde modelul stochează cunoștințe factuale.
# Dacă doriți să învățați modelul date factuale specifice unei companii,
# straturile MLP sunt obligatorii:
mlp_targets = ["gate_proj", "up_proj", "down_proj"]Includerea acestor straturi alături de atenție garantează că noul vocabular și conceptele din dataset sunt reținute adecvat.
Întrebări & Exemple practice:
Țintirea Matricilor Feed-Forward (MLP Projections)Ai o întrebare despre Țintirea Matricilor Feed-Forward (MLP Projections) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.