Diagnoza și Rezolvarea Erorilor CUDA Out of Memory (OOM) în Unsloth: Fine-Tuning LLM & Eficiență VRAM

Eroarea torch.cuda.OutOfMemoryError apare atunci când alocatorul PyTorch nu mai găsește un bloc contiguu de memorie VRAM liberă. Iată pașii recomandați în Unsloth pentru rezolvare:

1. Reduceți per_device_train_batch_size la 1 și creșteți corespunzător gradient_accumulation_steps.
2. Verificați max_seq_length: dacă dataset-ul conține mostre anormal de lungi, micșorați la 2048 sau trunchiați secvențele.
3. Asigurați-vă că folosiți optim="adamw_8bit" pentru a reduce starea optimizatorului la 25%.
4. Curățați memoria reziduală înainte de inițializarea modelului:

import torch
import gc

gc.collect()
torch.cuda.empty_cache()

print("Memorie cache eliberată pe GPU!")

Respectarea acestui protocol elimină peste 95% din erorile de memorie întâlnite pe plăci consumer.