Verificarea Suportului GPU & Flash Attention 2 în Unsloth: Fine-Tuning LLM & Eficiență VRAM

from unsloth import is_bfloat16_supported
import torch

device_name = torch.cuda.get_device_name(0)
has_bf16 = is_bfloat16_supported()

print(f"GPU activ: {device_name}")
print(f"Suport hardware bfloat16: {has_bf16}")

# Selectare dinamică a preciziei optime
chosen_dtype = torch.bfloat16 if has_bf16 else torch.float16
print(f"Tip de date selectat pentru antrenare: {chosen_dtype}")