Importul și Structura Clasei FastLanguageModel în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Clasa centrală FastLanguageModel înlocuiește clasele tradiționale din Hugging Face Transformers (AutoModelForCausalLM) cu implementări rescrise în Triton. Aceasta interceptează straturile liniare și mecanismele de atenție pentru a aplica fuziunea operațiilor (kernel fusion).

from unsloth import FastLanguageModel
import torch

# Verificare inițială a dispozitivului disponibil
major_version, minor_version = torch.cuda.get_device_capability()
print(f"Capabilitate Compute GPU detectată: {major_version}.{minor_version}")

# Clasa FastLanguageModel expune metodele from_pretrained, get_peft_model și for_inference
assert hasattr(FastLanguageModel, "from_pretrained")

Prin importul acestei clase, toate optimizările de gradient și alocare dinamică de memorie sunt activate automat în sesiunea curentă Python.