Pentru a preveni erorile de tip CUDA out of memory, este esențial să măsurăm exact memoria VRAM utilizată de model înainte și după aplicarea adaptorilor LoRA.
import torch
def print_gpu_stats():
allocated = torch.cuda.memory_allocated() / (1024 ** 3)
reserved = torch.cuda.memory_reserved() / (1024 ** 3)
max_memory = torch.cuda.get_device_properties(0).total_memory / (1024 ** 3)
print(f"VRAM Alocată: {allocated:.2f} GB | Rezervată: {reserved:.2f} GB | Total GPU: {max_memory:.2f} GB")
print_gpu_stats()Unsloth oferă utilitarul integrat FastLanguageModel.for_training care afișează automat procentul de memorie salvat comparativ cu PyTorch standard.
Întrebări & Exemple practice:
Monitorizarea Memoriei GPU cu PyTorch & NVMLAi o întrebare despre Monitorizarea Memoriei GPU cu PyTorch & NVML sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.