Gradient Checkpointing (sau Activation Checkpointing) este o tehnică esențială de optimizare a memoriei: în loc să salveze în memoria video activările intermediare ale tuturor straturilor în timpul trecerii înainte (forward pass), acestea sunt aruncate și recalculate la cerere în timpul propagării înapoi (backward pass).
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B", torch_dtype="bfloat16")
# Activare printr-o singură linie de cod:
model.gradient_checkpointing_enable()
# Rezultat:
# Consumul de memorie VRAM necesar pentru secvențe lungi scade spectaculos,
# permițând batch-uri mai mari pe plăci video comerciale (ex: RTX 4090 / A100).Compromis clasic: Crește durata de antrenare cu aproximativ 20-25%, dar reduce consumul de memorie GPU de la zeci de gigaocteți la o fracțiune rezonabilă.
Întrebări & Discuții: Gradient Checkpointing în LLM: Economisirea Memoriei GPU la Antrenare
Ai o întrebare despre Gradient Checkpointing în LLM: Economisirea Memoriei GPU la Antrenare sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.