Detecția Automată a Tipului de Date Hardware (dtype) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Când transmiteți dtype = None la inițializarea FastLanguageModel.from_pretrained, Unsloth inspectează automat capabilitatea compute a GPU-ului:

• Dacă arhitectura suportă bfloat16 (Ampere și mai nou, Compute Capability >= 8.0), alege torch.bfloat16.
• Dacă arhitectura este mai veche (Turing, Compute Capability 7.5), alege torch.float16.

from unsloth import FastLanguageModel

# Unsloth alege automat cea mai performantă reprezentare numerică
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Meta-Llama-3.1-8B-bnb-4bit",
    max_seq_length=2048,
    dtype=None,
    load_in_4bit=True,
)

Această abordare garantează portabilitatea codului între medii locale și instanțe cloud diverse.