Parametrul max_seq_length indică lungimea maximă a secvenței de tokeni (instrucțiune + răspuns) pe care modelul o poate procesa simultan în timpul antrenării. Creșterea acestui parametru scalează consumul de VRAM al mecanismului de atenție.
from unsloth import FastLanguageModel
# Setare context optim: 2048 pentru instrucțiuni scurte, 8192 pentru documente lungi
max_seq_length = 4096
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
max_seq_length=max_seq_length,
load_in_4bit=True,
)
print(f"Fereastră de context alocată: {model.config.max_position_embeddings}")Unsloth suportă scalarea RoPE (Rotary Position Embeddings) automată dacă doriți să extindeți contextul nativ al modelului.
Întrebări & Exemple practice:
Configurarea Lungimii Maxime a Contextului (max_seq_length)Ai o întrebare despre Configurarea Lungimii Maxime a Contextului (max_seq_length) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.