Clasa AutoConfig permite încărcarea și modificarea configurației interne a unui model Transformer (dimensiunea stărilor ascunse, numărul de capete de atenție, mărimea ferestrei de context sau funcțiile de activare) fără a descărca greutățile masive ale rețelei.
Exemplu de utilizare
from transformers import AutoConfig, AutoModelForCausalLM
# Încărcarea și inspectarea configurației
config = AutoConfig.from_pretrained("meta-llama/Meta-Llama-3-8B")
print(f"Număr straturi: {config.num_hidden_layers}")
print(f"Dimensiune ascunsă: {config.hidden_size}")
# Modificarea parametrilor înainte de instanțiere
config.use_cache = False
config.dropout = 0.1
model = AutoModelForCausalLM.from_config(config)Este esențială la inițializarea de modele de la zero sau la ajustarea setărilor de inferență precum rope_scaling.
Întrebări & Exemple practice:
Clasa AutoConfig în Hugging Face Transformers: Inspectarea și Modificarea ArhitecturiiAi o întrebare despre Clasa AutoConfig în Hugging Face Transformers: Inspectarea și Modificarea Arhitecturii sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.