Unsloth oferă instrumente integrate pentru a analiza exact câți gigabytes de memorie au fost economisiți în timpul antrenării prin nucleele fuzionate Triton:
# Calcul statistici de memorie la finalul antrenării
gpu_stats = torch.cuda.get_device_properties(0)
max_mem = gpu_stats.total_memory / (1024 ** 3)
peak_mem = torch.cuda.max_memory_reserved() / (1024 ** 3)
print(f"Capacitate totală GPU: {max_mem:.2f} GB")
print(f"Vârf de memorie atins în antrenare: {peak_mem:.2f} GB")
print(f"Procent VRAM utilizat: {(peak_mem / max_mem) * 100:.1f}%")Această vizibilitate permite reglarea fină a parametrilor pentru a stoarce fiecare megabyte disponibil din GPU.
Întrebări & Exemple practice:
Statistici de Memorie cu FastLanguageModel (print_training_memory)Ai o întrebare despre Statistici de Memorie cu FastLanguageModel (print_training_memory) sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.