Încărcarea Familiei Meta Llama 3 & 3.1 8B în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Modelul Meta Llama 3.1 8B este cel mai utilizat punct de plecare pentru proiecte comerciale și de cercetare datorită echilibrului perfect între capabilitățile de raționament, suportul multilingv și cerințele modeste de hardware.

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

print(f"Număr parametri model: {model.num_parameters():,}")

Greutățile furnizate de Unsloth încarcă automat tokenizerul cu vocabularul extins de 128.000 de tokeni din Llama 3.